摘要:集成成像(II)显示作为关键的真3D显示技术近年获研究关注显著提升,消色差超透镜阵列已实现基于宽带超透镜阵列的集成成像(meta-II);然过往微尺度超透镜阵列与商用微显示器不兼容,且元素图像阵列(EIA)渲染速率滞缓,此器件与算法双重瓶颈阻碍meta-II应
集成成像(II)显示作为关键的真3D显示技术近年获研究关注显著提升,消色差超透镜阵列已实现基于宽带超透镜阵列的集成成像(meta-II);然过往微尺度超透镜阵列与商用微显示器不兼容,且元素图像阵列(EIA)渲染速率滞缓,此器件与算法双重瓶颈阻碍meta-II应用于实用视频速率近眼显示器(NEDs)。本研究展示结合商用微显示器与超透镜阵列的meta-II近眼显示器:超透镜阵列通过大面积纳米压印技术制备,元素图像阵列生成则依赖新型实时渲染算法;硬件与软件协同突破视频速率meta-II显示器瓶颈,构建的透明原型验证增强现实可行性。本工作探索视频速率meta-II显示潜力,该技术有望为未来虚拟及增强现实创造价值。
真三维显示技术包括集成成像(II)显示、全息显示、体三维显示、超多视点显示等,可满足人类对真实场景的三维视觉体验。其中,II显示因具备紧凑体积、全视差、准连续视角及便捷全彩显示优势,被视为最具前景的真三维显示技术之一。相较当前基于双目视差的3D显示技术,II显示无需面对聚散调节冲突(VAC),显著缓解视觉疲劳。过去数年,研究集中应用于无眼镜II显示与II近眼显示器(NEDs)的性能提升。尽管多数II显示采用微透镜阵列(MLA)调制光线,一项使用新型纳米元件超透镜阵列的II显示被提出,称为“元II显示”。该技术可借超透镜阵列的平面特性及强大光场操控灵活性,提升II显示的分辨率、视场角、景深等。然而常规MLA基II显示仍面临严峻挑战:实用化视频速率元II显示迄今鲜见报道,原因有二:其一受限于大面积超透镜阵列制造难度,此前仅微米级超透镜阵列可用,须使用精密掩模板替代毫米级商用微显示器作为静态图像生成单元;其二因元素图像阵列(EIA)计算复杂度高,实时图像渲染始终是II显示瓶颈。故纳米器件与算法的双重挑战阻碍了实用元II显示的实现。
图1a阐释本meta-II近眼显示器光学架构。右上角展示三大核心组件:微显示器、3D打印支架及超透镜阵列;超透镜阵列设计与元素图像阵列(EIA)渲染算法均适配该微显示器规格。特别设计的3D打印支架用于组装微显示器与超透镜阵列——两者被精准对准并安装于支架两侧,构建即用型近眼显示器。为实现透视系统,采用分束器融合三维虚拟影像与真实场景(图1a增强现实系统所示)。图1b展示组装完成的meta-II NED模块(超透镜阵列与微显示器严格对准),整模块重量仅7.23克,为用户提供无缝视觉体验。
在超构透镜阵列制造方面,纳米压印技术被用于开发本器件。相较电子束光刻,纳米压印技术可快速复制大批量样本,特别适用于大面积样品制造。由于纳米压印胶折射率通常低于2.0,实现2π相位覆盖需制备高深宽比纳米柱,这导致纳米柱深宽比增大会增加压印工艺难度。此处为平衡制造难度与相位覆盖需求,选用折射率1.9的压印胶作为超构透镜材料,并设定纳米柱厚度为500 nm;经优化设计选取416 nm晶格常数,采用矩形晶格排列方案。纳米压印过程中基板上必残留压印胶层,但残胶层厚度对整体相位影响甚微,故本方案不予考量。作为验证,本工作选用1840 μm×1840 mm尺寸超构透镜阵列(含4×4单元),即单透镜孔径460 μm×460 μm;鉴于微显示器像素间距为4.6 μm,单超透镜对应100×100微显像素,故本元II近眼显示器(meta-II NED)视点数为100×100,微显有效像素分辨率为400×400。得益于纳米压印技术的快速复制优势,图2a所示四组相同阵列样本均被成功制备;图2b显示阵列显微图像无可见缺陷,样品完整无缺;图2c-d则分别展示阵列局部电子显微镜图像的俯视图与侧视图。综上,高质量纳米压印超构透镜阵列已成功实现。
纳米压印超构透镜阵列样品制备完成后执行光场扫描实验,对应结果汇总于图2e-h。图2e展示547 nm波长下阵列中全部16个超构透镜在yz平面的归一化光强分布,可见所有超透镜将光会聚于近似同一焦平面,且均仅具单一焦点及特定焦深范围。该超构透镜阵列平均焦距为5.8 mm,在547 nm波长下平均DOF为392 μm;所有超透镜在yz平面光强分布相似,表明阵列均匀性良好,故可提取单个超透镜光场分布代表阵列整体特性。图2f-h分别呈现547 nm下单超透镜的焦平面、x方向剖面及对应调制传递函数。图2g中黑色散点表示实验数据,绿色曲线为艾里拟合结果,由此测得焦斑半高全宽为6.6 μm。图2h中MTF曲线中黑色虚线为衍射极限MTF,绿色实线为计算所得MTF;鉴于所有超透镜孔径为方形,计算衍射极限时采用对角线孔径替代边长。结果表明该超透镜聚焦性能趋近衍射极限。
成功制备大尺度超透镜阵列后,传统低速元素图像阵列(EIA)渲染方法成为阻碍实现视频速率元集成成像显示的关键瓶颈。传统渲染需模拟集成成像(II)摄影原理:通过虚拟相机阵列捕捉生成元素图像,此过程因需投射所有视点至元素图像而耗时严重。此处提出新型渲染方法,在不牺牲计算复杂度与精度的前提下实现实时性——如图3a中部所示,集成成像显示中的体素通过光学整合同构像素生成;这些同构像素经由光线追踪映射至体素。需强调:特定深度平面上的体素由系统参数(透镜节距、物距等)唯一确定,且静态映射至像素。故可在EIA渲染前预先建立体素-像素映射查找表(图3a左侧所示),该表记录构成每个体素的所有同构像素坐标。基于此策略,EIA渲染过程仅需执行查表操作,即实现超快速元素图像生成。本方法具体流程可阐述如下。
预处理包含两个步骤:(a)体素-像素映射关系获取:采用透镜模型(或针孔模型)追踪所有体素的主光线,获取含同构像素的体素-像素映射,如图3a中部所示;(b)查找表构建:将所有同构像素存储于查找表中;三维场景由多层深度平面构成,其数量影响查找表尺寸;考虑到人眼深度分辨率,五至十层深度平面已被证实足够;此时单查找表大小约数兆字节,完全适应现代电子设备。
随后基于查找表的元素图像阵列渲染包括两个步骤:(c)图像重采样:对输入三维场景进行重采样并栅格化至系统参数确定的体素,如图3a右侧所示;黑色体素可被忽略,表明该方法更适配黑色背景图像(如增强现实系统);重采样仅执行一次且耗时可忽略;(d)查找操作:根据查找表将每个体素的栅格化数据分配至对应同构像素,并输出最终元素图像阵列用于集成成像显示,如图3a左上所示;由于传统基于视角的几何投影被超快速查找操作替代,渲染速度被加速数个数量级。
采用含4×4超透镜阵列的元集成成像系统连续执行30幅元素图像阵列渲染,运行环境与性能如下:结果证实平均帧率超60帧每秒标准;关键优势在于使用入门级个人计算机且无需复杂硬件。运行环境:i7-10700 CPU无独立显卡;平台:MATLAB R2021a搭配C++核心代码;平均耗时15毫秒;帧率67帧每秒。
为验证元集成成像显示系统的实模式成像能力(真实图像生成),开展运动视差与单眼聚焦线索测试,此二者是区分真三维显示与传统双眼视差基三维显示的关键特性。典型测试场景搭建如下:数字"3"定位于系统中央深度平面(距基准面36 mm处),字母"D"位于其后10 mm处。应用前述实时生成算法计算该场景的元素图像阵列,并分别输入模拟环境(LightTools软件)及实验用微显示器;实验装置中超表面阵列与微显示器间距固定为5 mm。
首先,图3b-d展示了固定接收器对焦于数字"3"所在深度平面时在视角-1°、0°、1°下的模拟图像,图3e-g则为对应实验结果且与仿真高度吻合。结果显示:如图3c,f所示视角0°时数字"3"位于字母"D"中部;视角旋转至-1°时(图3b,e)"3"接近"D"边缘;而视角1°时(图3d,g)"3"趋近"D"弧端。不同深度物体间相对位置的显著变化证实有效运动视差存在。随后验证单眼聚焦线索:因仿真接收器与实验相机均对焦于"3"所在平面,该数字清晰而字母"D"相对模糊,此现象证明成功构建双光学深度平面,数字"3"位于焦内而字母"D"处于焦外,由此单眼聚焦线索亦获验证。
所提出的纳米压印基大面积超透镜阵列与实时元素图像阵列渲染方法共同构建实用化元集成成像显示系统;该系统作为核心引擎驱动实现具备真三维特性的透视型增强现实原型,通过微显示器后方重建远处虚拟三维图像,该增强现实原型工作于虚拟模式下,由分束器将真实场景与可调深度的虚拟图像融合;需说明实模式与虚拟模式的元素图像阵列生成方法深度参数设定一致;本原型中对应绿色图像的透镜阵列-微显示器间距为5.74 mm,重建数字"3"与字母"D"的深度平面分别距透镜阵列80 mm及300 mm;采用手机摄像头模拟人眼成像(人眼-透镜阵列间距约20 mm),微显示器光源经透镜阵列及分束器反射面进入摄像头,环境光则透射过分束器进入摄像头(光路配置见图1a);摄像头因此可同步捕获融合的三维虚拟图像与真实环境,从而验证增强现实效果。
图4展示暗环境下不同颜色的AR效果实验效果:当相机对焦前景棋子"Rook"时(图4a),数字"3"与该棋子均清晰呈现,表明二者深度一致,而位于更远深度重建的字母"D"则模糊;当相机对焦后方棋子"Pawn"时(图4b),字母"D"变清晰而中间数字"3"难以辨识,证实字母"D"重建深度与棋子"Pawn"重合。相较于传统全内反射波导基AR系统,本研究提出的元II系统可通过单眼聚焦线索实现真3D效果(图4a-b验证此机制),且该线索能与双目视差引发的聚散匹配缓解聚散调节冲突;图4c-f进一步验证系统AR能力,蓝/红三维重建图像表现相似。
此外,采用环形与骰子图案检验分辨率,如图5所示:首先验证相似聚焦机制——相机聚焦中部黑棋时环形与骰子清晰,而前后景实物模糊;关键点在于图5a环形中除中心亮斑外可区分八对明暗圆环,每对圆环代表两个体素,故该环形含33个体素。环形最外直径14.2 mm,其与超表面阵列间距355 mm对应2.29°视场角,因此本元双增强现实系统角分辨率达33/2.29°=14.4 PPD(像素每度),性能等同于VR设备Oculus Quest;图5b骰子清晰成像证明系统显示复杂图案能力。整体系统关键参数如下:视场角2.29°;景深范围100-375 mm;角分辨率14.4 PPD。
结合超构透镜阵列、商用微显示器及实时元素图像阵列(EIA)渲染方法,成功研制新型元近眼显示器。采用高精度大面积纳米压印技术,使用高折射率纳米压印胶制造超构透镜阵列;同时提出新型体素基EIA渲染方法,通过升级传统视角基方法实现实时渲染,由此验证真三维显示能力。通过融合三维虚拟影像与实体环境,构建出具备真三维显示能力的AR原型。除上述大焦比超构透镜阵列设计外。需强调:超构透镜阵列的设计灵活度对解决集成成像长期瓶颈极具价值(例如景深扩展问题——传统微透镜阵列仅支持有限景深,难以满足从近人空间至远景空间的真三维显示需求;而超构透镜阵列可设计为偏振复用元件,通过不同偏振方向的差异化焦距轻松实现景深扩展);另一瓶颈是窄视场角,自由曲面光学虽为扩大视场角的有效像差校正方案,但传统微透镜阵列难以实现。而本元系统提供前瞻解决方案:可在超薄超构透镜阵列中精确记录自由曲面相位分布,实时补偿场相关像差。更重要的是,相较本文方案,扩展景深元系统与大视场角元系统均无需增加计算复杂度及系统体积。最终,我们认为超构透镜阵列的设计灵活度、具备量产可行性的低成本纳米压印制造技术与实时渲染方法,将共同推动面向未来虚拟现实与增强现实的视频级元近眼显示器发展。
科学技术的发展离不开科研仪器的进步。凯视迈(KathMatic)自2014年创建以来,一直“致力于高精尖光学测量技术”,已成为集“研发、制造、销售”为一体的国产高端光学精密测量仪器新力量。推出了KC系列多功能精密测量显微镜、KS系列超景深3D数码显微镜以及KV系列激光多普勒测振系统,取得了良好的市场成绩。
来源:凯视迈精密测量