摘要:随着多尺度成像技术的快速发展,分辨率和视场作为重要技术指标得到研究人员和重要用户的极大关注。受当前硬件和微纳加工技术水平的限制,成像分辨率很难继续提高。对于成像视场,如果成像时间不限,扫描方式可无限扩展视场。空间带宽积作为更有效的系统性能评估量,综合考虑视场和
一、引言
随着多尺度成像技术的快速发展,分辨率和视场作为重要技术指标得到研究人员和重要用户的极大关注。受当前硬件和微纳加工技术水平的限制,成像分辨率很难继续提高。对于成像视场,如果成像时间不限,扫描方式可无限扩展视场。空间带宽积作为更有效的系统性能评估量,综合考虑视场和分辨率,可用于衡量成像设备捕获信息通量的能力。对于快速成像或瞬态过程成像,留给成像系统的数据获取时间是有限的或者是很短的。因此,成像速度也是考量显微成像系统性能的重要技术指标。它们结合可以评价显微成像系统获取时空(2D+t)信息的能力。发展具有快速高通量成像能力的显微成像系统是需求迫切的研究任务,对观察大尺寸目标动态(瞬态)过程和在线检测等实际应用具有重要理论意义和经济效益。
研制快速高通量显微成像系统需要应用计算光学成像技术衔接超分辨显微成像理论和显微系统硬件,实现软硬件组合从而完成高质量显微成像目标。借助数学和算法方面的独特优势与潜力,将计算光学成像技术用于计算光学成像系统,对芯片和电子产品面板等高端制造业的快速检测具有重要战略意义。
近年来,空频域扫描方案对利用计算显微成像技术提高视场和分辨率具有重要推动作用,相应地涌现很多研究成果。鉴于扫描测量方式会影响成像速度,多种并行测量方式相继出现,比如空间多路技术、多波长照明等方法,它们可实现单次曝光,一次性获取目标经光学显微成像系统的投影信息。因此,并行测量方法是发展快速计算显微成像的可行技术路线。
本文介绍计算光学显微成像技术在测量和计算方面加速的新进展,包括在视场、分辨率、测算加速、自动聚焦等方面的新方法。通过一维扫描方式实现降维测量,加速成像系统的测量和计算。加权迭代相位恢复在含噪声的相干衍射成像系统中可显著改善迭代计算的收敛速度。对于叠层扫描成像技术,发展并行计算可实现计算速度的数倍提高。在傅里叶叠层成像技术中,应用Kramers-Kronig关系建立的复数因果律而实现相位分布的非迭代重构可显著提升该计算成像技术的测量和计算速度。针对相干衍射成像系统,应用自动聚焦技术可实现各衍射平面位置的快速精确测算,提高图像重构质量。
二、计算光学成像技术进展
随着光学系统的离散化,如图1所示,计算成像技术发展迅速。这里列举并分析计算光学显微成像技术在高通量成像方面的相关研究进展情况,归纳视场、分辨率、快速成像方面的部分成果。
2.1傅里叶叠层成像技术
空域扫描和叠层扫描为成像系统视场改善带来极大帮助。在待测样品表面信息不变或者扫描过程不变情况下,扫描方法可获取很大视场,同时叠层扫描成像可获取目标表面的光场复值信息。偏振敏感的傅里叶叠层扫描显微技术具备高分辨率、宽场双折射成像能力。在便携型光学显微系统设计方面,智能手机参与组成的计算显微成像系统在空间带宽积方面可超过普通台式显微镜,具有彩色复值成像能力。根据倾斜照明设计的计算显微系统为扩大视场和提高分辨率提供新途径。可去除伪影的傅里叶叠层扫描技术具有非迭代、高并行度计算能力、容错性强等特点。智能校正技术使傅里叶叠层扫描显微成像系统的性能更加稳定。
2.2并行测量与计算技术
合成孔径干涉是设计高分辨大视场定量相位显微成像的有效技术。多光束阵列干涉显微技术打破了数字全息显微技术的局限性,其主要优势是可集成更多波前,时间稳定性更高。结合部分相干光的固有相干选通特性和倾斜照明的成像方式可显著增加空间频率带宽,具备非常可观的成像视场。横向平移方法可生成大视场中的高分辨散斑照明图案,含优化算法的图像重建方案对未知照明图案、系统像差和图案平移等缺陷完成必要数字校正。基于非干涉合成孔径的强度衍射层析成像技术具有分辨率高、对比度大、层析能力强等特点。多视角和多深度的测试方法是具有很大潜力的并行测量方案。由多芯光纤和压缩感知组合的显微成像系统具有很大的空间带宽积。基于光子筛的双振幅成像方法利用Pancharatnam-Berry相位实现偏振和波长调控,可维持空间带宽积不变。
2.3高通量显微成像技术
基于混合明-暗场强度传输方程设计的高通量显微技术可合成高分辨率和大视场的复值图像。光学相干显微技术与混合自适应光学方法结合,引入超快速扫描源后可获得更高的时空带宽积。在两步相移干涉技术中,串联光学结构可充分利用相机空间带宽积提高分辨率。在光学元件集成方面,基于光学不变量的设计方案可最大化显微成像系统的空间带宽积。采用平面-曲面-平面的显微成像技术具有高时空分辨率和海量数据处理能力,待测样本平面被放大至较大球面图像,可获得普通成像系统无法具备的分辨率和视场,超越衍射成像极限。针孔型全息成像技术采用运动阵列微透镜和高分辨图像阵列编码,具有可观的空间带宽积和分辨率。为实现图像传感器芯片和物镜的最佳匹配,散焦图像可充分利用物镜的空间带宽积。采用单次测量的离轴数字全息显微成像技术在空间带宽积方面提供光学成像系统的优化框架。离轴全息成像技术以牺牲空间分辨率或视场为代价,使用白光照明完成单次曝光成像,在高时域带宽实现对相位目标的快速测量。
2.4基于多波长照明的显微成像技术
基于波长扫描的超分辨成像方法可取代实现物理位移的成像硬件单元,提高宽场成像系统的分辨率,显著增加空间带宽积。基于单像素成像的全色光场显微技术可增加空间带宽积,提高重建光场的空间分辨率。基于单次曝光的强度衍射层析成像技术采用环形可编程的彩色发光二极管,提供与物镜数值孔径精确匹配的倾斜照明空间布置方案,具备无标记、高通量和快速的成像能力。基于波长扫描的宽视场定量相位成像方法提供克服空间信息混叠的解决方案,形成多样性充足的衍射信息。由图案化的石墨烯夹层结构和射频探测器组成的光学透明亚表面可实现自适应频率操纵以匹配入射光束,为多色照明成像提供切实可行的光源设计与调控方案。
2.5快速计算成像方法的进展
在图像重建方面,计算光学成像技术为快速图像生成提供灵活性强、可塑性高的技术支持。Kramers-Kronig关系将强度分布转换为相位分布,实现非迭代相位恢复计算、空间带宽积增大、图像重建计算量降低。广义离散傅里叶-汉克尔变换可实现高效基向量分解,减少计算量,适用于麦克斯韦鱼眼透镜、球形隐身斗篷、非球面薄透镜和柱面透镜等光束调制与成像光学元件的数学建模。自适应采样计算方法可在成像系统中降低计算复杂度,有效而充分地利用空间带宽积信息。多波长相位恢复方法结合物理约束和稀疏性先验信息,保证在测量过程存在噪声情况时的显微成像质量。在非相干数字全息显微系统中,基于随机并行梯度下降的自适应方法具有并行计算多种像差和快速收敛的优点。
三、基于光场调制的计算光学成像
基于光场调制的计算光学成像方法通过改变系统参数获得更多的定解数据,使得图像重建过程有更多可以依赖的约束数据,一些迭代算法的收敛性得以改善。在相干衍射成像技术中,需要测量多幅衍射图,导致测量相对耗时,相应图像重构计算也需要大量时间。关于测算加速方面的研究对这些成像技术是非常重要的。传统单帧成像方法,例如Gerchberg-Saxton(GS)算法、混合输入输出(HIO)算法等,需要已知物面支撑约束或者其他先验信息才能实现清晰成像。在实验条件下,该方法难以准确获取先验信息,不仅实验难度大,成像质量也无法保障。基于优化方案的新型单帧相位恢复算法结构复杂、计算耗时严重、可靠性差。为提高计算光学成像的质量,多帧成像方法得以充分发展。多帧扫描成像不要求空间域的物理约束和样本先验信息。
计算光学成像系统分为光学编码和数字解码两个模块。为提高成像质量,在光学编码模块采用光学调制,增加样本信息的多样性,通过记录经光学系统调制的数据,能有效消除孪生像、减少噪声、提高分辨率。在光学编码阶段,对样本的光学信息进行调制,使得相机记录的每张强度图像包含的样本信息都有差别,利用信息的冗余性和多样性进行相位恢复。根据光学编码系统对样本调制方式的差异,光学调制成像技术主要包括轴向扫描调制成像、横向扫描调制成像(叠层扫描成像)、多波长扫描调制成像和散射介质调制成像等。
3.1轴向扫描调制成像
轴向扫描调制成像方法通过将样本或相机沿光轴扫描以记录多张强度图像,降低相位恢复迭代计算的复杂度,成像系统如图2所示。由于衍射距离改变,波前相位信息随之变化。利用相机记录不同衍射距离的衍射强度图像,相位恢复算法利用一组投影图数据可重构样本的复振幅信息。
在相干光照明下,样本的衍射图像投影到成像传感器上被记录。成像传感器最初位于距离样本Z0处,完成衍射强度图I1记录后,将传感器沿光轴移动Δz并记录强度I1。重复上述过程,获得足够数量的强度图像。初始距离Z0、扫描步长Δz以及衍射强度图数量需要根据样本的大小和类型选择。通常,对于几毫米大小的样本,Z0和Δz一般在毫米范围内。在样本图像重构过程中,轴向扫描调制成像相位恢复算法可选用两种模式:串行计算和并行计算。
2005年,Pedrini等提出单光束多强度相位重构(SBMIR)方法。作为串行计算模式,在SBMIR计算重构中,首先将样本的复振幅传递到第一个记录平面,然后保持波前的相位不变,利用采集到的强度图替代振幅信息进行振幅约束,将更新后的图像传递到下一个平面。当在最后一个平面完成振幅约束后,将图像逆传递到样本平面,得到更新后样本图像。重复上述过程,直至迭代结果满足收敛条件。串行计算模式具有很快的收敛速度,但由于串行计算过程中误差会累积,很容易受到噪声干扰,鲁棒性较差。
2015年,Liu等提出具有并行计算模式的轴向扫描相位恢复算法,即振幅-相位恢复(APR)算法。APR算法将样本的复振幅信息同时传递到所有记录平面,进行振幅约束后,将更新后的波前逆传递回样本平面。在样本平面,对多个更新的样本复振幅取均值操作,最终得到当前轮迭代后的样本图像,采用取均值的数据处理方法可有效减少噪声对成像的影响,因而具有更好的鲁棒性。
2019年,Buco等提出基于自适应支撑约束的增强多平面相位恢复算法。该方法将自适应支撑约束集成到SBMIR算法中,在计算过程中增强衍射距离最近的成像平面与样本平面之间的传播,可实现更快的收敛速度和更高的重构精度。为解决轴向扫描调制成像中收敛速度慢和收敛停滞的问题,2019年,Binamira等提出使用无序传播序列的相位恢复算法。不同于SBMIR中不同平面间顺序传播方式,该算法在不同平面间采用无序传播策略,如图3所示。该技术的主要优点是振幅变化的显著增加,振幅变化是成功迭代相位恢复的关键和必要因素。对于N个平面,实现传播序列的可能方法的数量增加了N!(N-1)!,为幅度的变化提供多样性。
在轴向扫描调制成像系统中,需要轴向地移动样本或者相机,这样不可避免地会引入横向位置漂移误差。这将导致不同衍射强度图隶属于不同的光轴,如果在相位恢复之前不进行矫正,会导致图像重构失败。此外,轴向扫描调制成像系统中相机采集到的是照明背景光和样本出射光的干涉图像。在计算过程中,轴向扫描调制成像将照明背景作为样本的组成部分进行重构,当测量对象为无标记的生物样本时,受照明背景干扰,导致图像的对比度较差,成像质量变低。
3.2横向扫描调制成像
2004年,Rodenburg等提出叠层扫描成像技术(PIE),该技术理论上可实现无限大视场成像。图4为PIE的系统结构示意图,其成像系统主要包括光源、孔径光阑、样本和成像传感器。将孔径光阑置于样本前方,控制照射在样本表面照明光束的大小。因为当不使用孔径光阑限制照明光束的大小时,衍射效果不明显,无法得到有明显衍射级次的强度图。当获取大量信息后,可得到足够多的定解方程,可计算出样本信息。在图像采集过程中,将孔径光阑或者样本放在二维移动平台上,使其在垂直于光轴的平面内移动,即使用孔径受限的照明光斑对样本进行二维扫描,要求相邻扫描位置有重叠。利用采集到的强度图像计算样本复振幅信息。
PIE算法的前提条件是已知照明光束在样本前表面的空间分布,但在实际实验条件下难以提前获得精度较高的照明光斑。2009年,Maiden等提出扩展叠层扫描成像技术(ePIE),该技术在迭代过程中能够同时更新样本函数和照明光束函数。2017年,Maiden等提出正则化叠层扫描成像技术(rPIE)。该技术将低阶组合状态概念引入叠层扫描成像的求解过程中,对代价函数进行微小改变,在物函数求解公式中添加正则项。通过匹配合适的正则系数,该技术拥有更快的收敛速度,对照明光斑初始化要求也更为宽松。
为加速叠层扫描成像,2015年,Sidorenko等提出单次曝光成像方法。该方法中,照明光经过一个透镜阵列,根据透镜的几何光学特性,每个透镜下的照明光束都在样本表面重叠阵列分布,如图5所示,因为在样本和相机间放置透镜,透镜阵列的各透镜将光束会聚样本区域从而光束投射到相机的不同成像区域。在单次曝光中,所得图像包含几十甚至几百张衍射强度图,克服了叠层扫描成像因连续扫描造成的耗时、振动不稳定和漂移等缺陷。实验结果表明,该方法在180 ms的曝光时间内可得到49张互相重叠的样本图像。2020年,Wen等提出拥有公共约束的并行计算策略,有效消除并行计算带来的子图像间的相位差,大幅减少算法重构时间,提高成像速度。当将数据分成8组同时进行重构时,若数据量足够大,则算法计算时间约为原来的1/8。
2021年,Chang等提出利用高倾斜照明光束的单次曝光成像技术,如图6所示。使用具有足够大传播角的激光束簇照射厚样品,相机在单次曝光情况下记录多幅彼此具有明显间隔的衍射图像。该技术通过改变相干传递函数,传播非傍轴光束,可获得高分辨的三维图像。此外,使用高倾斜的照明可以减少相邻衍射图像之间的串扰,获得更多高频分量。
2022年,Wen等提出基于锥形螺旋扫描的无透镜成像方法。每移动扫描一次,衍射强度图案同时得到三个方向的调制,成像系统示意图如图7所示。该方法结合了轴向扫描调制成像和叠层扫描成像的优点:轴向移动给记录的图案带来更丰富的多样性信息,这有助于去除孪生图像,加快算法收敛速度,用少量数据完成大视场成像;物体在无空间约束的照明光下得到横向扫描,提供了叠层扫描成像中图像重叠冗余的特点,能够同时重构照明光束与样本图像,抑制照明光束对样本信息的不良影响。
3.3多波长扫描调制成像
多波长扫描调制成像采用多波长光源进行照明,利用波长的多样性进行相位恢复,计算收敛速度快,对噪声和环境干扰具有很强的抗干扰性。在多波长扫描成像系统中,光谱带宽和色散校正对高分辨率重建至关重要。2021年,Liu等提出具有自适应色散校正的多波长无透镜衍射成像方法,如图8所示。对应不同波长光源,准直透镜的折射率会发生变化。该方法采用Sellmeier公式,计算不同波长下准直透镜的等效焦距,获取不同衍射图的波长调制函数;仅使用三束不同波长的光束即可实现高分辨、高鲁棒性成像;将自动聚焦技术与迭代计算相结合,成功地实现色散校正。针对相位包裹问题,传统多波长相位恢复算法需要额外计算进行相位解包裹,增加了算法复杂性。为解决这一问题,2022年,Gao等提出基于投影折射率框架的多波长相位恢复算法。该算法在相位恢复算法中引入相位解包裹,将多波长相位恢复视为最优化问题,采用total variation(TV)正则化方法可直接恢复物体的振幅和无包裹相位。
对于叠层扫描成像技术,数据冗余性是图像重构成功的关键,但是冗余性会导致数据量大、成像速度慢。尽管单次曝光成像技术能减少数据采集时间,通道混叠等原因会导致最终成像分辨率下降。2016年,Luo等提出基于波长扫描的像素超分辨成像技术,如图9所示。多波长能够提高宽场成像系统的分辨率,显著增加空间带宽积。利用窄光谱范围(例如10~30 nm)内多个波长记录的低分辨衍射图像,该技术将波长扫描像素超分辨与合成孔径方法相结合重构超分辨图像。
多波长扫描调制成像技术不需要机械移动,但对光源提出要求,要发出不同波长的光束,增加成像系统的成本。由于不同波长对应不相等的极限分辨率,目前缺乏合理计算方法,该技术不能实现更高成像分辨率。
3.4散射介质调制成像
2016年,Zhang等提出一种相干调制成像相位恢复算法。将一个由随机分布钨柱组构成的调制元件放在样本和相机之间,改变传统相干衍射成像中样本和测量数据之间的傅里叶变换关系,如图10所示。仅需要松弛的支撑约束,该相位恢复算法即可实现快速收敛。波前调制器可以显著降低中心光束的强度,使得光子能更均匀地分布在探测器上,降低探测器的动态范围要求。
2022年,Song等提出一种基于掩模调制的相干衍射成像相位恢复算法。图11为掩模调制相干衍射成像系统,在物平面前方设置双针孔,将相干光分成两条路径。物平面上的一个区域在成像过程中始终保持不变,提供静态区域,这可以在物平面提供有效和可靠的约束条件。而物平面上的另一部分是动态的成像区域,成像传感器在远场捕获傅里叶强度图像。掩模调制相干衍射成像系统将更多的先验知识用于相位恢复,可提高重建精度、鲁棒性和速度。
2019年,Wu等研究波前成像传感器,利用空间光调制器(SLM)代替传统成像传感器中的微透镜阵列,对样本光学信息进行调制,利用相位恢复算法计算入射波前,大幅提升成像分辨率,如图12所示。2022年,Xu等提出基于振幅调制的相位恢复算法,利用SLM上随机二进制掩模板对物体波前进行调制,仅需要4幅衍射强度图,就可以获得很快的收敛速度和很高的分辨率。基于SLM调制成像原理,Yu等提出虚拟点扩散函数概念,使得成像分辨率不再受孔径光阑的截止频率限制。在散射介质调制成像技术中,相机记录散斑与样本的叠加信息,采用相位恢复算法难以将它们完全分开,需要预先测量出散斑分布信息,这会增加实验系统负担。
科学技术的发展离不开科研仪器的进步。凯视迈(KathMatic)自2014年创建以来,一直“致力于高精尖光学测量技术”,已成为集“研发、制造、销售”为一体的国产高端光学精密测量仪器新力量。推出了KC系列多功能精密测量显微镜、KS系列超景深3D数码显微镜以及KV系列激光多普勒测振系统,取得了良好的市场成绩。详情欢迎留言咨询!
来源:凯视迈精密测量