绝了！模仿昆虫视觉的相机，成像速度和灵敏度双双开挂！

摘要：在自然界中，昆虫的眼睛宛如神奇的光学仪器，赋予它们在复杂光环境下生存的超能力。果蝇、蜻蜓等快速眼昆虫，凭借独特的视觉系统，巧妙地利用多光学通道和时间求和，于昏暗光线中敏捷地探测移动物体。受此奇妙现象启发，科研人员踏上创新征程，精心研制出高速高灵敏度微透镜阵列相

在自然界中，昆虫的眼睛宛如神奇的光学仪器，赋予它们在复杂光环境下生存的超能力。果蝇、蜻蜓等快速眼昆虫，凭借独特的视觉系统，巧妙地利用多光学通道和时间求和，于昏暗光线中敏捷地探测移动物体。受此奇妙现象启发，科研人员踏上创新征程，精心研制出高速高灵敏度微透镜阵列相机（HS-MAC）——《Biologically inspired microlens array camera for high-speed and high-sensitivity imaging》发表于《SCIENCE ADVANCES》，开启了成像技术的新篇章，为众多领域带来前所未有的可能性。

*本文只做阅读笔记分享*

一、引言

高速和高灵敏度成像在众多领域有着重要应用。在自然界中，夜出性和晨昏性昆虫如果蝇和蜻蜓，其眼睛独特的视觉机制为我们研发新型相机提供了灵感。这些昆虫能在不同光线条件下，凭借多光学通道和时间求和实现快速、低光成像，从而有效躲避威胁、觅食和导航。我们受此启发，研发了高速高灵敏度微透镜阵列相机（HS-MAC）。

二、HS-MAC的设计原理

（一）昆虫视觉机制

昆虫眼睛由多个称为小眼的光学通道组成，视觉刺激在视叶的神经层中分别并行处理，这有效提高了运动检测的更新率。然而，小眼的小透镜会阻碍光子捕获，部分昆虫通过时间求和增加光敏感度，但也会产生运动伪影。

（二）HS-MAC成像原理

HS-MAC通过结合通道分割、时间求和和压缩帧重建来实现高速高灵敏度成像。oMLAs将快速运动物体投影到滚动快门CMOS图像传感器的偏移图案通道上。滚动快门图像传感器的逐行曝光将通道分割成离散的碎片阵列，此为通道分割。在低光条件下，每个碎片阵列在与相邻阵列重叠期间进行时间求和，叠加时间信息以提高信噪比，形成碎片通道图像，这些图像包含不同空间信息，拼接后通过压缩图像重建过程进一步去模糊，从而得到清晰的帧。

（三）微透镜偏移的作用

微透镜的小偏移可实现精确的通道分割，在有限带宽内大幅提高帧率，同时通过时间求和和压缩帧重建，在低光环境中重叠时间信息，打破信噪比与帧率的权衡，提高相机灵敏度。

三、实验结果与性能分析

（一）与无偏移MAC的对比

1、封装与参数

HS-MAC采用oMLAs（偏移距离15.5μm）和单滚动快门CMOS图像传感器（IMX477）封装，尺寸小巧（1.53mm×8.35mm×10.5mm，0.3g）。不同偏移距离的oMLAs被微加工并集成到HS-MAC中。

2、帧率与失真

HS-MAC的帧率随单元尺寸减小而显著提高，与无偏移MAC对比，优势明显。例如，在单元尺寸相当时，HS-MAC帧率更高，在偏移距离等于单像素大小时，其帧率可达91,200fps。从拍摄自由落体球的实验可见，HS-MAC的滚动快门失真远低于MAC。当拍摄直径78mm的球时，HS-MAC在相同快门速度下，球的长轴与短轴比更接近理想值1，如单元尺寸284μm时，HS-MAC的平均绝对百分比误差为4%，相比MAC的10%大幅降低，能更准确呈现球的近球形形状。

3、成像质量

拍摄静态胡椒图像，HS-MAC与MAC成像的Pearson相关系数（PCC）高达0.99，成像质量相似。从调制传递函数（MTF）对比可知，HS-MAC成像质量与MAC相当，实现了低失真高速成像。

（二）HS-MAC的低光成像性能

1、时间求和原理与效果

HS-MAC利用时间求和提高光灵敏度，其时间求和因子（TSF）定义为HS-MAC曝光时间与单镜头相机最大曝光时间的比值。通过压缩图像重建算法恢复去模糊帧，实验表明HS-MAC打破了帧率与曝光时间的权衡，提高了光敏感度。

2、噪声等效辐照度（NEI）测量

通过在暗室中放置点光源，测量HS-MAC在不同帧率（如3040fps和9120fps）下的NEI。结果显示，NEI与TSF成反比，如在最大曝光时间下，两帧率的HS-MAC最低NEI均为0.43μW/cm²，相比无时间求和时，分别降低了23倍（3040fps）和40倍（9120fps），体现了出色的灵敏度。

3、拍摄旋转圆盘验证算法

以9120fps拍摄旋转圆盘，随着TSF增加，TS帧中圆盘形状逐渐清晰，但也因过度曝光而模糊，经压缩图像重建去模糊后，即使TSF=100时，圆盘上的图像也清晰可辨。通过与静止圆盘图像对比计算PCC评估图像相似性，发现TS帧在TSF=10时相似性最高（PCC=0.93），超过该值因运动伪影而降低；去模糊帧则在更高TSF值下仍保持较高相似性（PCC=0.96），证明了HS-MAC在低光下利用时间求和和压缩帧重建捕捉物体细节的有效性。

（三）高速和低光成像的实验演示

1、拍摄高速旋转圆盘

HS-MAC以9120fps（TSF=5）拍摄直径135mm、转速1953±3rpm且有六个不同颜色段的旋转圆盘。拍摄的投影阵列图像和单通道图像显示单通道图像存在滚动快门效应导致的弯曲黑箭头，通过重建序列帧，可清晰观察到圆盘逆时针旋转且无滚动快门失真，测量圆盘转速为1950rpm，在可接受的速度抖动范围内。

2、拍摄池火火焰颈缩过程

在衰减照明条件下（0.88lux），HS-MAC在距火焰20cm处拍摄池火火焰颈缩过程。使用不同光学密度（OD）的中性密度（ND）滤镜衰减光强度，以1020fps拍摄火焰闪烁周期。在TSF=1时，随着OD增加，捕获帧信噪比降低，火焰形状甚至在OD=3.0时消失，但通过时间求和，在OD=3.0、TSF=33时，HS-MAC可清晰观察到火焰颈缩过程，并准确捕捉到火焰口袋分离的时刻（63.10ms），证明了HS-MAC在低光条件下的出色成像能力。

四、研究成果与意义

HS-MAC成功模仿昆虫眼睛的多通道和时间求和机制，实现了高速（9120fps）和高灵敏度（0.43μW/cm²）成像，还支持3D和超分辨率成像。这一成果为医疗、智能手机、无人机和汽车等领域的成像应用提供了新途径。然而，HS-MAC也存在一些局限性，如微透镜间短距离视差可能导致视频失真，光学设计和算法计算成本有待改进。未来，通过优化光学设计（如使用非球面偏移微透镜或消色差透镜设计、六边形微透镜阵列等）和算法（如降低压缩图像重建计算成本），有望进一步提升其性能，拓展应用范围。

五、一起来做做题吧

1、以下哪种昆虫的视觉特点不是本文中提到的对研发新型相机有启发意义的？

A. 果蝇

B. 蝴蝶

C. 蜻蜓

D. 熊蜂

2、HS - MAC 实现高速成像的关键设计是什么？

A. 单一的大透镜

B. 偏移微透镜阵列（oMLAs）

C. 特殊的图像传感器

D. 复杂的电路系统

3、在与无偏移 MAC 对比中，HS - MAC 在以下哪个方面表现不佳？