摘要:目前,扩展现实(XR)研究正朝着全产业链协同发展的方向迈进,有望构建技术先进、产品丰富、服务优质、应用广泛的高质量产业发展格局。本文综述了扩展现实(XR)研究关键技术的进展。剖析了核心软件与内容创作,以及行业应用的深度融合过程中,存在的瓶颈问题。因此提出了应加
原文发表于《科技导报》2025 年第17 期 《扩展现实研究关键技术及发展趋势 》
目前,扩展现实(XR)研究正朝着全产业链协同发展的方向迈进,有望构建技术先进、产品丰富、服务优质、应用广泛的高质量产业发展格局。本文综述了扩展现实(XR)研究关键技术的进展。剖析了核心软件与内容创作,以及行业应用的深度融合过程中,存在的瓶颈问题。因此提出了应加大对芯片、显示技术等关键领域的研发投入,丰富内容创作生态,深化和拓展行业应用场景,强化产业链上下游协作,并完善相关标准体系的建议。
2024年,扩展现实(XR)研究呈现全方位发展态势。硬件侧,显示技术取得显著性突破,设备推陈出新,人工智能(AI)+增强现实(AR)眼镜带来多模态智能交互体验与交互方式的革新。软件侧,XR操作系统开源化竞争推动行业生态朝着更开放、多元的方向发展。内容侧,多元化大空间文旅项目的兴起为XR内容创作生态发展注入新动力。我们选取了2024年XR产业相关代表性研究进展,对部分关键技术和未来发展趋势进行分析和展望。
1 硬件侧
2024年,XR硬件领域发展迅猛,在显示技术、AI融合及交互方式等方面取得突破性进展,有力推动行业迈向成熟实用阶段。
1.1 单色Micro LED技术升级AR眼镜体验
自2012年索尼公司推出微发光二极管显示(Micro LED)芯片,众多机构纷纷投入该技术的研发及应用探索。Micro LED技术有效规避了液晶自身不发光、有机发光二级管(OLED)寿命短等传统显示缺陷,同时具备高发光效率、高稳定性、低功耗等显著优势,被视作最具潜力的下一代新型显示与发光器件之一。近年来,单色Micro LED已成为AR眼镜主流的微显示方案。
2024年,单色Micro LED技术在体积、重量、功耗及亮度等关键性能指标上取得了新的突破,如:上海显耀显示科技有限公司(JBD)推出Micro LED单色光引擎“蜂鸟Mini Ⅱ”(图1)。从整体进展来看,单色Micro LED技术正朝着极致轻薄、高亮度、低功耗方向不断演进,持续提升AR眼镜的使用体验。
图1 2024年JBD推出的Micro LED单色光引擎蜂鸟Mini Ⅱ
1.2 单片全彩Micro LED技术新突破
Micro LED芯片从单色向单片全彩升级,是行业发展的必然趋势,但技术成熟度、工艺复杂性及量产难度成为横亘在前的挑战,也吸引各大芯片厂商集中力量攻坚。当前,除已实现量产出货的棱镜合色方案外,单片全彩Micro LED技术方案还涵盖量子点、三色堆叠、单片外延等不同技术路径。2024年,多个科研团队及企业在不同技术路径探索上取得显著效果。
棱镜合色方案是将红、绿、蓝单色微显示面板分别附着于3个不同面,通过光学合色实现全彩显示效果。2024年9月,JBD基于RGB 3色面板合光方案,推出“蜂鸟Ⅰ”彩色光学模组,并发布业内首个光波导画质矫正方案ARTCs。该方案有效提升亮度均匀性与色彩准确性,显著减轻彩虹效应,大幅降低环境光对AR眼镜显示效果的干扰,实现室内外全场景应用(图2)。
图2 JBD上一代与2024年全新彩色光学模组对比效果
(图片来源:网易号)
量子点全彩Micro LED技术方面,镭昱光电、鸿石智能、思坦科技等企业取得突破。镭昱光电科技(苏州)有限公司通过氮化镓(GaN)与量子点材料及工艺优化,发布量产级PowerMatch 1系列单片全彩Micro LED微显示屏(图3),为全彩Micro LED领域重要进展。
图3 2024年镭昱光电采用量子点工艺研发的PowerMatch 1系列单片全彩Micro LED微显示屏
(图片来源:Raysolve官网)
整体而言,Micro LED显示屏正加速朝着超高亮度、高环境对比度、高分辨率及小体积方向发展,以更好适配阵列、衍射光波导需求,小型化、轻量化、智能化、立体化、高画质及低功耗已成为其核心迭代方向。
1.3 搭载4K Micro OLED显示屏成为XR头显新趋势
微型有机发光二极管(Micro OLED)显示凭借高分辨率、快速响应速度以及低功耗等特性,在XR领域备受青睐。2024年,搭载4K Micro OLED显示屏成为XR头显领域的全新发展趋势。
国内,创维数字股份有限公司与深圳纳德光学有限公司积极布局。创维数字发布的MR Pancake 2一体机(图4(a)),具备单眼4K、双眼8K(3552×3840×2)的高分辨率,并支持双目彩色透视功能。纳德光学GOOVIS推出的XR头显(图4(b)),实现3840×3840×2超高分辨率,显示效果极为清晰、细腻。
图4 2024年国内企业发布的4K Micro OLED XR头显
(图片、和讯科技)
国外,索尼公司于2024年12月推出具备空间内容创作功能的混合现实(MR)头显,实现单眼4K、双眼8K分辨率,还配备左右手异形设计的指点控制器以及造型独特的戒指控制器(图5(a))。用户佩戴头显时,可同步使用控制器、键盘等输入设备对3D模型进行编辑与塑造(图5(b)),为用户带来沉浸式视觉创作体验与高效创作效率。设备还具备“视频透视”功能,允许用户在虚拟与现实场景间自由切换。
图5 2024年索尼公司推出的MR头显
(图片
综合来看,这些搭载4K Micro OLED的XR头显,以高分辨率和高像素密度为用户提供清晰视觉体验,不同产品在显示精细度、功能体验、佩戴舒适度等方面各有优势,共同推动XR头显向高端化发展。
1.4 AI+AR 眼镜成新风向
2024年,众多品牌厂商敏锐捕捉到AI+AR的发展机遇,积极布局该领域,在追求轻量化、舒适性的同时,深度融合AI技术,为用户打造个性化、智能化的多模态交互体验。
国内方面,珠海莫界科技有限公司率先推出极致轻量型全彩AI+AR眼镜(图6(a)),运用Micro LED技术与首创的树脂衍射光波导技术全新超薄架构,实现全彩光学显示,画面清晰纯净。该产品作为首款创新性搭载AI交互系统的AR眼镜,大幅提高了用户获取信息的效率,引领行业发展方向。雷鸟创新技术(深圳)有限公司发布消费级AI+AR眼镜X3 Pro,集成手势交互、眼动追踪功能以及AI大模型能力,续航较前代提升近半,入眼显示亮度翻倍,兼具高清晰度与高亮度,适配现实场景使用。Rokid与暴龙科技有限公司联名推出新一代AI+AR眼镜Rokid Glasses(图6(b)) 。谷东科技有限公司发布Star1和Star1S2款AI+AR眼镜,分别适用于办公和娱乐场景。深圳影目科技有限公司推出采用全彩Micro OLED+阵列光波导方案的INMO AIR3(图6(c)),分辨率、视场角、刷新率等关键性能较上代产品大幅提升。
图6 2024年国内企业发布的AI+AR眼镜
(图片来源:VR陀螺网站)
国外,美国社交媒体公司Snap发布集成OpenAI多模态大模型的第5代Spectacles AR眼镜(图7(a))。该眼镜采用Micro LED+光波导方案,通过搭载的Snap OS系统,用户能以语音、手势切换主菜单、控制AR特效(图7(b)),还可以基于AI实现精准的语音指令响应与多人交互体验(图7(c))。
图7 2024年国外Snap公司发布的AI+AR眼镜
(图片来源:The Verge;Snap官网)
Meta公司推出AI+AR眼镜Meta Orion。它采用Micro LED+光波导分体式无线设计,由98 g的Orion眼镜、独立计算单元Compute Puck(需在15英尺内)和肌电图(EMG)腕带构成(图8(a))。用户可打开多任务窗口(图8(b))、借助Meta AI识别物体(图8(c)),还能与其他用户共享AR空间互动(图8(d))。
图8 2024年国外Meta公司发布的AI+AR眼镜
(图片来源:The Verge网站;Meta产品发布会)
国内外以上AI+AR眼镜产品,在重量、显示性能、AI及交互功能、续航等方面各具优势,参数对比如表1所示。这些产品展现出AR智能眼镜正朝着高分辨率、全彩显示、自然交互等方向发展,功能持续拓展,应用场景日益丰富。
表1 2024年国内外AI+AR眼镜性能参数对比
1.5 XR设备交互方式革新
2024年,XR设备交互方式迎来新一轮变革,多款设备引入可穿戴智能指环或腕带交互。
1月,北京凌宇智控科技有限公司(NOLO)发布MR头显NOLO SONIC 2 Pro,搭配业内首款量产XR交互指环NOLO Air Ring(图9(a))。10月,莲偶科技推出适配虚拟现实(VR)和AR眼镜的L−Ring 2(图9(b)),搭载先进算法与AI芯片,无需摄像头与高算力图形支撑,能精准识别超80种复杂手势,具备多项商务功能。12月,Meta公司的AR眼镜Orion创新性配备编织材质的肌电图(EMG)腕带(图9(c))。Orion腕带彰显AR智能设备小型化潜力,开创更自然的AR交互方式。
图9 2024年国内外企业发布的XR交互设备
(图片来源:搜狐网;The Verge网站)
从行业整体来看,未来XR设备交互将朝着智能、自然、直观方向发展。基于AI的语音、手势、眼动、触摸等多模态智能融合交互,配合智能手表、手环、神经腕带、交互戒指等可穿戴设备,将大幅减少用户学习成本,让交互过程更加贴合人类自然行为习惯,实现自然、流畅、直观的交互体验,进一步提升XR设备的使用感受与应用价值。
2 软件侧
2.1 XR操作系统进入开源化竞争
2024年,Meta宣布开放Horizon OS,谷歌推出专为XR设备打造的Android XR操作系统,双方携手头显制造商,拉开XR操作系统开源化竞争序幕。
Meta Horizon OS更新,优化键盘追踪、即时放置面板等功能,助力开发者高效构建、营销应用,提升用户体验。更新后的Tracked Keyboard应用程序编程接口(API),借助通用键盘检测模型,可识别用户周边几乎所有键盘(图10(a)),并检测手靠近键盘的动作(图10(b)),为开发者拓展创意空间。
图10 2024年Meta Horizon OS更新功能
(图片来源:Meta网站)
即时放置(即raycasting)功能,作为无需场景模型的基础场景理解机制,借助先进空间分析算法,使开发者能绕过系统常规“空间设置”流程,在混合现实场景高效精准放置面板(图11(a))等对象。该功能已集成至MR实用工具包(MRUK),为用户提供便捷操作体验。MRUK创新引入可破坏网格功能,开发者借此能构建复杂网格结构(图11(b)),灵活隐藏或移除应用内对象与内容(图11(c)),极大拓展MR游戏玩法设计空间,可实现探寻隐藏宝藏、开启神秘门等趣味玩法。
图11 Meta Horizon OS的即时放置和可破坏网格功能
(图片来源:VR陀螺网站)
场景装饰器(scene decorator)是MRUK中又一高效工具,支持开发者用丰富资产精细装饰MR场景。开发者能依场景需求,以随机或统一方式在物理空间智能选择(图12(a)),精准放置预制件(图12(b))、3D模型等资产适配场景布局,提升MR场景视觉丰富度与沉浸感。
图12 MR实用工具包MRUK中的场景装饰器工具
(图片来源:VR陀螺网站)
谷歌AI助手Gemini入驻Android XR,提供智能规划、实时导航(图13(a))、实时翻译(图13(b))、研究辅助、任务指导等多元服务。基于Android XR,用户能在虚拟大屏幕观看YouTube视频,通过Google Photos浏览3D图像(图13(c)),在Google Maps体验沉浸式导航,在Chrome实现多任务处理(图13(d)),畅享丰富娱乐与办公体验。
图13 2024年谷歌发布的Android XR操作系统功能
(图片来源:The Keyword)
至此,XR操作系统形成以Android XR、Meta Horizon OS和苹果Vision OS为主导的竞争格局,各方将在技术、生态、应用等维度展开激烈角逐,推动XR行业加速发展。XR操作系统开源化有望重塑现有行业生态,促使厂商强化合作与竞争,构建更开放、多元的生态系统。
2.2 3D扫描及文件传输取得轻量化突破
3D图像数据文件格式是构建沉浸式交互体验的核心基础,也是实现跨平台及设备兼容性的重要支撑。当下,基于XR的3D图像数据文件格式存在众多相关标准。丰富多样的3D图像数据文件格式为XR内容创作者提供了充足选择,有力推动了XR内容创作生态的繁荣发展。
2024年,Niantic公司发布全新开源3D图像数据文件格式“.SPZ”。该格式借助“3D Gaussian Splatting”(3D高斯泼溅)扫描技术,可将获取的数据压缩至传统数据的1/10,很大地便利了智能手机上3D扫描数据与应用程序间的共享。目前,“.SPZ”已应用于Niantic的免费3D扫描应用Scaniverse中,用户可通过该应用即时处理并共享智能手机捕获的3D扫描数据(图14)。
图14 2024年Niantic公司发布全新开源3D图像数据
(图片
在图像数据文件传输场景下,标准化对于保障数据高效、稳定流转起着核心作用。2024年6月15日,广东省数字化学会联合30多家单位、90多位专家制定的《三维CAD模型轻量化格式》团体标准(T/DISA1011—2023)正式施行。此标准填补了国内该领域标准的空白,构建了统一且可扩展的三维CAD模型轻量化格式体系。
3 内容侧
自2023年大空间文旅项目《消失的法老》推出以来,基于LBE(区域性娱乐场所)的XR大空间文旅项目迅速崛起,截至目前数量已近百个,成为2024年XR内容领域的新热点。这些项目广泛取材于中外知名文旅IP,构建出多样化的沉浸式探索场景,极大地丰富了用户体验。
3.1 基于背包设备的VR大空间文旅体验
基于背包设备的VR大空间文旅体验,多采用PICO、HTC、Quest等主流VR设备,连接高性能背包电脑,用户可在室内自由游走,畅享大空间虚拟场景。《敦煌:沙海谜窟》便是该模式下的典型代表项目。
该项目由PICO、沙核科技、维魔科技等多个公司联合打造。基于PICO VR头显和高性能背包电脑(图15(a))的高精图形处理能力,项目采用影视级互动叙事超级空间技术,成功地将逼真的场景与宏大的视觉艺术无缝融合。项目中的场景与人物细节(图15(b))都极力还原历史风貌,增强用户体验时的代入感。体验者能以第一人称视角沉浸式漫游月牙泉(图15(c))、深入探秘莫高窟(图15(d)),亦能于虚拟夜游市集中感受烟火气息,还可以化身为故事主人公,与剧中角色并肩作战,体验一场跨越千年的时空之旅。《敦煌:沙海谜窟》凭借全沉浸体验,生动还原壁画原貌与细节(图16),既能为用户带来丰富的视觉享受,又能助力无缘细观真迹的游客增进认知,以数字化形式推动文物的保护与文化传播。
图15 大空间项目《敦煌:沙海谜窟》
图16 《敦煌:沙海谜窟》中的壁画细节与莫高窟第156窟壁画原貌
3.2 基于XR头显的大空间文旅体验
基于XR头显的大空间文旅体验无需背包电脑,用户仅佩戴XR头显,就能在室内畅享大空间虚拟场景。如《秦潮觉醒》与《一梦入大唐》等代表性项目,为用户带来便捷且沉浸的文旅新体验。
《秦潮觉醒》是上海元拓境科技发展有限公司自主研发的一款大空间沉浸式体验项目,体验者佩戴上Pico 4 Ultra Enterprise头显(图17(a)),就可瞬间穿越到2000多年前的秦朝地宫,逐一参观面前的文化瑰宝(图17(b)),体验360°的视觉盛宴(图17(c)),在里面可以触摸古老的文物,与各种奇珍异兽互动(图17(d)),逐步解开谜题、激活壁画和推开沉重石门,与古人进行一场跨越千年的对话。
图17 大空间项目《秦潮觉醒》
(图片来源:新浪微博)
沃达全宇宙与凌宇智控科技有限公司(NOLO)联合打造的数字文旅项目《一梦入大唐》是现代科技与活化历史的一次全新尝试。体验者佩戴NOLO自研空间计算设备SONIC2高清头显,在引导者的解说下,可观赏《凌烟阁二十四功臣》《昭陵六骏浮雕》等传世名作(图18(a));还能与家人、伙伴一同搭乘铜鎏金马车,穿梭湍急的水银河,邂逅大唐名将激烈争斗的场景(如图18(b));亦能乘坐鹦鹉车飞越秦岭,环游长安古城领略美景(图18(c));甚至可能机缘巧合闯入神秘昭陵(图18(d)),实现与古人的跨时空对话。
图18 大空间项目《一梦入大唐》
3.3 基于MR设备的新型大空间文化体验
基于MR设备的大空间文化体验,无需额外搭建大空间场景。设备内置的高精度传感器与摄像头,能够将极为逼真的视觉效果无缝融入现实环境,大幅提升体验的真实感、互动性及趣味性,为用户打造虚实融合的独特文化体验。
2024年,北京意景技术有限责任公司与重庆幻景数研科技有限公司创新性地打造了全球首个线下MR大空间体验项目《ASTATION 山海空间》。用户佩戴2024年苹果公司发售的Vision Pro MR设备,游览10余处1∶1还原的VR巨型奇观,感受上古神话场景,如天柱不周山、女娲、旋飞的精卫及《山海经》中的各类奇珍异兽(图19)。用户通过主动探索场景、参与互动体验,能够深入洞悉传统文化内涵,激发强烈的情感共鸣,有力推动传统文化在数字化时代的广泛传播与深度传承。
图19 ASTATION山海空间体验场景
3.4 基于智能手机的云化大空间文旅体验
在2024年,厦门市人民政府携手中国移动咪咕公司打造的“鼓浪屿元宇宙”(简称“鼓元”),开拓性地以手机作为切入点,深入探索“云化” 大空间文旅体验模式,极大地丰富了大空间文旅生态体验的多样性,为该领域的发展注入全新思路。
在“鼓元”的线上数智空间内,用户能够创建专属的数智形象,随时自由穿梭至鼓浪屿的各个景点(图20(a)),聆听金牌数智导游“小蘑菇”(图20(b))的精准解说,深度探寻鼓浪屿的文化底蕴。在线下场景中,用户可跟随AR导游开启鼓浪屿深度游览(图20(c));还能在首个鼓浪屿主题XR大空间《琴岛奇遇》中,解锁沉浸式文旅体验新玩法。
图20 鼓浪屿元宇宙体验场景
(图片来源:新浪网;VR陀螺)
“鼓元”线上空间依托线下实景高精度扫描技术,运用先进的3D建模手段,以1∶1比例复刻了77处核心景点建筑(图21(a)所示)。这一数字化构建成果,为游客提供了灵活的游览体验——若游客在实地旅行中未能遍览所有景点,可在线上空间轻松弥补遗憾(图21(b))。用户通过探索收集虚拟宝藏,最终可合成专属艺术卡片(图21(c)),提升了旅行的趣味性与氛围感,丰富游客的文旅体验。
图21 《鼓浪屿元宇宙》体验场景
3.5 基于VR一体机的LBE互动电影体验
西安XR电影产业基地推出的LBE XR互动电影体验项目《汉阳孤军》(图22(a)),基于VR一体机打造。项目选用Meta Quest 3一体机头显方案,搭配卓越的引擎优化技术与全景视频渲染技术,用户无需背负电脑背包或依赖PC串流,避免了沉重负担与操作不便,在畅享PC级画质的同时,获得全无线的轻量化便捷体验(图22(b))。影片依托Meta Quest 3提供的API功能,实现了精准的全身动作捕捉。这不仅使观众在观影时能自由移动并与影片内容互动(图22(c)),还增添了线下娱乐的社交属性,大幅丰富观影体验,让其更具趣味性。该项目从视觉与触觉多维度,为观众带来超越传统IMAX影院的震撼交互式体验。
图22 《汉阳孤军》电影体验项目
4 建议
4.1 聚焦关键技术攻坚,锚定性能跃升方向
2024年,XR产业关键技术取得进展,但仍需大力投入高性能芯片、先进光学显示器件等关键硬件研发,持续优化XR设备性能与体验。
4.2 深挖内容创作潜力,引领多元内容创新走向
2024年,LBE大空间文旅项目已呈现多元化发展态势。后续应激励研究人员创作更多横跨教育、医疗、文化、艺术、工业等多领域,兼具创新性与教育价值的XR内容,满足不同用户群体的多样需求。同时,构建完善的XR内容分发平台与渠道,加强版权保护与管理,保障创作者合法权益,积极探索云存储与云渲染服务,优化用户获取和分享高质量XR内容的体验流程。
4.3 拓展行业应用版图,驱动跨界融合创新发展
目前,XR技术已在工业、教育、医疗、文旅等领域广泛应用,构建起行业应用版图。未来研究应深化其在这些重点行业的应用,解决行业痛点,提升生产效率、教学质量、医疗水平与旅游体验,如工业的远程协作、教育的沉浸式学习等。此外,探索其在智慧城市、智能交通、数字孪生等新兴领域的潜力,为城市管理、交通规划、建筑设计等提供创新方案与决策依据,拓宽XR行业发展边界。
4.4 筑牢产业链协作基石,打造协同创新生态体系
研究人员需积极推动XR产业链上下游企业紧密合作,构建产业联盟与合作共同体,以此实现资源共享与优势互补,有力驱动产业发展。同时,大力鼓励XR领域的创新创业活动,培育具有核心竞争力的创新型企业,为行业发展注入全新动能。此外,积极参与国际XR标准的制定与推广,提升中国在该领域的国际话语权。通过加强与国际先进企业、研究机构的合作与交流,引进国外先进技术与经验,加速中国XR产业的国际化进程。
4.5 提速标准体系建设,护航产业规范稳健前行
当下,XR产业标准体系建设尚处于逐步完善阶段,部分关键领域标准存在缺失或不统一的情况。后续应加快制定XR产业基础通用标准,涵盖硬件设备性能指标、接口规范、安全要求,以及软件开发规范、数据格式、兼容性标准等,为产业稳健前行筑牢根基。
5 结论
2024年,XR产业展现出全方位蓬勃发展的强劲势头。中国XR产业在光学、显示等硬件核心技术上取得关键突破,但在核心软件、内容创作及行业应用融合发展中,仍面临诸多核心难题。后续需持续加大关键技术研发投入,丰富内容创作生态,深化并拓展行业应用范围,强化产业链协作以完善产业链生态,加快相关标准的制定、规范与推广工作。通过实现多方位、多层面生态协同发展,构建技术、产品、服务与应用协同繁荣的高质量产业发展新格局。
本文作者:范丽亚、王梅、马介渊
作者简介:范丽亚,西安交通大学城市学院计算机学院、物联网智能感知交互平台陕西省高校工程研究中心,教授,研究方向为 VR/AR 技术及产业。
文章来 源 : 范丽亚, 王梅, 马介渊. 扩展现实研究关键技术及发展趋势[J]. 科技导报, 2025, 43(17): 107−121 .
本文有删改,
点击获取全文。
☟
《科技导报》创刊于1980年,中国科协学术会刊,主要刊登科学前沿和技术热点领域突破性的研究成果、权威性的科学评论、引领性的高端综述,发表促进经济社会发展、完善科技管理、优化科研环境、培育科学文化、促进科技创新和科技成果转化的决策咨询建议。常设栏目有院士卷首语、科技新闻、科技评论、专稿专题、综述、论文、政策建议、科技人文等。
来源:科技导报
