摘要:随着人工智能与自动化技术的飞速发展,机器视觉系统在自动驾驶、智能监控和运动判罚等复杂动态场景中得到广泛应用。然而,传统视觉系统主要依赖高帧率采集,虽能高效捕捉静态信息,却在处理动态过程时产生大量包含重复背景的冗余数据,增加了存储与处理负担。近年来,具备时空信息
随着人工智能与自动化技术的飞速发展,机器视觉系统在自动驾驶、智能监控和运动判罚等复杂动态场景中得到广泛应用。然而,传统视觉系统主要依赖高帧率采集,虽能高效捕捉静态信息,却在处理动态过程时产生大量包含重复背景的冗余数据,增加了存储与处理负担。近年来,具备时空信息处理能力的神经形态视觉传感器展现出处理动态运动的优势,但如何在单一器件中融合静态成像与动态感知功能,仍面临材料、结构与调控机制的挑战。
近日,中国科学技术大学孙海定教授课题组提出了一种基于InGaN纳米线/水凝胶异质结的仿生可重构视觉传感器,能够在光电探测与光突触两种模式之间自由切换,实现动态与静态视觉信息的融合感知。该器件通过简单的电路开合即可切换工作模式,无需外部电源,且在两种模式下均具备优异的性能。研究人员还受生物“受体调控效应”启发,引入CoOₓ纳米颗粒修饰,显著提升了界面电荷传输与化学反应效率,进一步增强了器件的双模光电性能。相关论文以“Bioinspired Reconfigurable Vision Sensor Based on InGaN Semiconductor/Hydrogel Heterostructure for Dynamic-Static Fusion Perception”为题,发表在
Advanced Materials研究团队从变色龙的视觉机制中获得灵感,设计了一种能够同时感知动态轨迹与静态图像的双功能视觉传感器。图1展示了变色龙捕食过程中双眼分别处理静态环境信息与动态目标轨迹的能力,以及该传感器在模拟网球运动场景中同时识别球的轨迹与落点的应用示意图。图2进一步揭示了器件的工作原理:在闭路条件下,器件处于光电导模式,表现出快速的光电流响应,适用于静态图像捕捉;而在开路条件下,器件转为光伏模式,表现出类似突触的光响应行为,具备光学信息记忆能力,适用于动态轨迹记录。此外,通过引入CoOₓ纳米颗粒修饰,器件的能带结构、电荷分离与表面反应动力学均得到显著优化,进一步提升了其在双模式下的性能。
图1. 受变色龙视觉启发的双功能视觉传感器实现动态-静态融合视觉。 a) 变色龙捕食过程中的视觉行为。 b) 视网膜上视神经细胞的组成。 c) 变色龙在某一时刻的静态视觉信息,以及捕食过程中关于猎物运动的动态视觉信息。 d) 网球比赛场景示意图。 e) 双功能视觉传感器结构示意图,包括静态特征与动态特征识别能力。 f) 双功能视觉传感器对运动网球在某一时刻的静态环境信息识别与连续动态运动轨迹识别。
图2. 双功能视觉传感器的工作机制及CoOₓ修饰分析。 a) 纳米线/电解质异质结构在闭路(左)与开路(右)条件下受光刺激时的电荷行为示意图。 b) 光电导模式下的能带弯曲与载流子行为示意图。 c) 由两个连续光脉冲触发的代表性光电流响应。 d) 光伏模式下的表面能带弯曲与载流子行为示意图。 e) 由两个连续光脉冲触发的代表性突触后电压。 f) CoOₓ/InGaN结构示意图及受体增强的仿生行为。 g) CoOₓ/InGaN纳米线的SEM图像。 h) CoOₓ/InGaN纳米线的TEM图像。 i) CoOₓ/InGaN纳米线的HAADF-STEM图像。 j) CoOₓ/InGaN纳米线的EDS元素分布图。 k) CoOₓ/InGaN与InGaN的态密度分析。 l) CoOₓ/InGaN的电荷密度差分分布与Bader电荷分析。 m) CoOₓ/InGaN纳米线与InGaN纳米线的时间分辨光致发光曲线。
在光电导模式下,该传感器展现出卓越的静态图像捕捉能力。如图3所示,经过CoOₓ修饰的器件在450 nm光照下的响应度从34.1 mA/W提升至141.4 mA/W,响应速度从毫秒级缩短至微秒级,远超多数现有电解质基光电探测器。器件对不同光强表现出线性响应,并成功在自驱动成像系统中清晰显示出“N”和“U”字母图像,验证了其在快速、高质量静态成像方面的潜力。
图3. 光电导模式下视觉传感器的光电探测能力展示。 a) 光电导模式下视觉传感器的器件示意图。 b) CoOₓ/InGaN与InGaN纳米线在0 V偏压、450 nm光照下的时间分辨光响应。 c) CoOₓ/InGaN与InGaN纳米线的响应度与响应速度对比。 d) 已报道电解质基光电探测器性能对比。 e) 视觉传感器在450 nm光照、不同光强下的光电流响应。 f) 不同光强下视觉传感器的光电流密度与响应度。 g) 光电成像系统示意图。 h) 字母“N”与“U”的光学成像结果。
在光伏模式下,该传感器则表现出优异的突触行为与图像记忆功能。如图4所示,器件在光刺激下产生逐渐衰减的光电压信号,具备短期与长期可塑性。CoOₓ修饰后,其双脉冲促进指数从150%提升至190%,显示出更强的时序信息处理能力。研究人员还模拟了“学习-遗忘-再学习”行为,并展示了器件在图像去噪与对比度增强方面的能力,为动态视觉处理提供了硬件层面的支持。
图4. 光伏模式下视觉传感器的光突触性能。 a) 光伏模式下视觉传感器的器件示意图。 b) CoOₓ/InGaN与InGaN纳米线在单个光脉冲下的光突触响应。 c) 不同光脉冲间隔下CoOₓ/InGaN与InGaN纳米线的双脉冲促进指数。 d) 不同光强下CoOₓ/InGaN纳米线的光突触响应。 e) 不同光脉冲数量下CoOₓ/InGaN纳米线的光突触响应。 f) 视觉传感器的“学习经验”行为,包括学习、遗忘与再学习。 g) 视觉传感器的图像记忆功能。 h) 目标图像与背景噪声之间的对比度增强。 i) 带有背景噪声的未增强图像。 j) 去噪预处理后的增强图像。
为验证其在复杂动态场景中的融合感知能力,研究团队构建了一套仿变色龙双目视觉系统。如图5所示,系统由分别工作在光电探测模式与光突触模式的两个器件阵列组成,分别用于提取运动目标的静态位置信息与动态轨迹信息。实验结果表明,该系统能够同时识别小球的运动路径与最终落点,并在模拟场景中成功判断球是否出界,展现出动态-静态信息协同处理的优势。
图5. 构建仿变色龙视觉的人工视觉系统实现动态-静态协同感知。 a) 运动小球的三种不同轨迹示意图。 b–d) 在PS模式下,视觉系统对小球运动轨迹1、2、3的突触响应。 e–g) 在PD模式下,视觉系统对小球运动轨迹1、2、3的最终帧光响应。 h–j) 通过融合PD模式的静态信息与PS模式的动态信息,得到小球运动路径与落点的模拟结果。
综上所述,这项研究提出了一种基于InGaN/水凝胶异质结的双功能视觉传感器,通过简单的电路切换实现光电探测与光突触模式的自主转换,兼具高响应速度与时序信息处理能力。结合CoOₓ纳米颗粒的界面调控策略,器件在双模式下均表现出显著性能提升。最终构建的仿生视觉系统成功实现了动态与静态信息的融合感知,为下一代高效、节能的人工视觉系统提供了新的技术路径与器件基础。
来源:科技新世界
