用于光场显微镜的视图到视图去噪三维重建

B站影视 内地电影 2025-08-05 14:21 1

摘要:光场显微镜(LFM)因其能够捕获基于快照的大规模3D荧光图像而备受关注。然而,现有的LFM重建算法对传感器噪声高度敏感,或者需要难以获取的带真实标注的数据进行训练。为应对这些挑战,本文引入V2V3D,这是一种无监督的基于视图到视图的框架,它在统一架构中为图像去

光场显微镜(LFM)因其能够捕获基于快照的大规模3D荧光图像而备受关注。然而,现有的LFM重建算法对传感器噪声高度敏感,或者需要难以获取的带真实标注的数据进行训练。为应对这些挑战,本文引入V2V3D,这是一种无监督的基于视图到视图的框架,它在统一架构中为图像去噪和3D重建的联合优化建立了新范式。作者假设光场图像源自一致的3D信号,且每个视图中的噪声是独立的。这使得V2V3D能够结合噪声到噪声(noise2noise)原理进行有效去噪。为增强高频细节的恢复,作者提出一种基于波动光学的新颖特征对齐技术,该技术将用于波动光学中正向传播的点扩散函数转换为专门为特征对齐设计的卷积核。此外,作者引入一个包含光场图像及其相应3D强度体的LFM数据集。大量实验表明,作者的方法实现了较高的计算效率,并且优于其他最先进的方法。这些进展使V2V3D成为在具有挑战性的条件下进行3D成像的有前景的解决方案。

在本节中,作者首先简要介绍LFM 3D成像。接下来,详细阐述视图到视图框架和特征对齐机制,强调它们在去噪和重建中的关键作用。最后,介绍网络架构和损失函数。

作者在合成数据上对作者的方法与其他最先进的方法进行了定量比较,包括基于优化的方法(RLD)、基于监督学习的方法(VCDNet)和基于NeRF的方法(DINER)。作者在作者的数据集上重新训练VCDNet,使用有噪声的LFI作为输入,无噪声的3D信号作为监督。此外,为验证作者的框架在同时重建和去噪方面的优越性,作者将V2V3D与使用预去噪LFI作为输入的无监督方法(RLD和DINER)进行了比较。注意作者在作者的数据集上重新训练DeepCAD用于LFI去噪。

表1报告了所有方法应用于有噪声和预去噪合成数据的平均指标。图4和图5展示了重建的和真实的3D体数据的中心视图以及XY和XZ投影。表2提供了所有方法的全面定量比较,包括性能指标和经过的时间。作者可以得出以下结论:I)在合成数据集上,V2V3D表现出卓越的性能,特别是与无监督方法相比。通过利用视图到视图重建框架,作者的方法能够从严重噪声的LFI中恢复高分辨率、高信噪比的3D信号。此外,虽然使用去噪后的LFI作为输入可以提高RLD和DINER的性能,但也可能在重建的3D体数据中引入更多伪影;II)由于使用无噪声的3D信号作为监督,VCDNet可以减轻噪声对重建的影响。然而,通过利用基于物理信息的特征对齐模块,V2V3D能够比VCDNet重建更多的高频细节;III)受益于卷积框架,V2V3D比基于优化的方法具有更高的重建效率。

作者使用两种类型的真实数据进行定性比较:一个静态样本(脑切片)和一个活样本(中性粒细胞)。对于静态样本,作者可以通过时间平均(100帧)获得高信噪比的参考中心视图,而对于活样本,作者使用DeepCAD进行去噪以获得相对高信噪比的参考中心视图。图6展示了重建的3D体数据的中心视图以及XY和XZ投影。受噪声严重影响,RLD和DINER都表现出显著的缺陷,因为这些方法在重建中本质上把噪声当作有效信号。因此,重建体数据的平均投影与中心视图非常相似。由于VCDNet是在有噪声的数据集上训练的,它能够在一定程度上去噪。然而,由于其泛化能力较差,重建结果存在明显的伪影。使用来自DeepCAD的预去噪LFI进行重建确实提高了RLD和DINER的信噪比。然而,由于相邻视图在同一位置存在显著差异,直接应用基于N2N的去噪方法会导致LFI中的信号串扰和模糊,从而在最终的重建结果中出现明显的伪影。

作者的方法通过几个关键因素始终优于其他最先进的方法:视图到视图框架有效地将有效信号与严重噪声分离,而基于物理信息的特征对齐和FFT损失增强了网络恢复高频细节的能力。这些创新技术凸显了V2V3D在真实世界复杂LFM成像中的潜在适用性。

本研究提出V2V3D,这是一种用于LFM的基于视图到视图的同时去噪和3D重建框架。V2V3D将所有视图分成两个不重叠的子集,每个子集生成相应的体数据并协作去除噪声。作者还引入一种基于波动光学的新颖特征对齐技术,以提高细节丰富区域的重建精度。此外,作者引入一个LFM数据集,以便进行定量和定性比较。作者相信V2V3D是同时去噪和重建方面的开创性探索,能够激发这个新兴领域的更多研究。

科学技术的发展离不开科研仪器的进步。凯视迈(KathMatic)自2014年创建以来,一直“致力于高精尖光学测量技术”,已成为集“研发、制造、销售”为一体的国产高端光学精密测量仪器新力量。推出了KC系列多功能精密测量显微镜、KS系列超景深3D数码显微镜以及KV系列激光多普勒测振系统,取得了良好的市场成绩。详情欢迎留言咨询!

来源:凯视迈精密测量

相关推荐