摘要:10 月 8 日,英伟达 Omniverse 及物理 AI 产品与技术营销负责人 Madison Huang 首次公开亮相访谈节目《英伟达 OpenUSD Insider Series Podcast》,与光轮智能 CEO 谢晨博士围绕主题《Bridging
10 月 8 日,英伟达 Omniverse 及物理 AI 产品与技术营销负责人 Madison Huang 首次公开亮相访谈节目《英伟达 OpenUSD Insider Series Podcast》,与光轮智能 CEO 谢晨博士围绕主题《Bridging the Sim2Real Gap with SimReady and AI》展开对谈,深度探讨 “如何让机器人在虚拟世界学习、在真实世界行动”。
值得关注的是,Madison Huang 是英伟达创始人黄仁勋之女。主持人 Edmar 在开场时便强调 “这是非常特别的一期”,并提及这是 Madison 的首次官方直播。不同于产品发布或企业宣讲的宏大场景,此次她以英伟达 Omniverse 及物理 AI 产品与技术营销负责人的身份,聚焦机器人与仿真主题参与对谈。
与 Madison 对话的,是前英伟达自动驾驶仿真负责人、现任光轮智能 CEO 谢晨,以及光轮智能增长负责人穆斯塔法。谢晨是 Sim2Real 领域的资深实践者,并非行业新人,他曾在英伟达主导自动驾驶仿真工作,此前还负责过 Cruise 的仿真业务,具备深厚的技术与实践积累。
这场一个半小时的直播,在技术圈引发广泛讨论:既因 Madison 的首次公开亮相,更因对谈触及了重新定义机器人产业的核心命题 —— 如何弥合 Sim2Real Gap(仿真与现实鸿沟)。而这场以技术为导向的直播背后,正藏着英伟达在物理智能领域的关键布局。
▍英伟达一周内连续两场直播!仿真才是机器人数据困境最优解
需要关注的是,NVIDIA Omniverse 官方频道上一期直播中,斯坦福大学教授李飞飞与英伟达首席科学家 Jim Fan,曾围绕 BEHAVIOR 具身智能挑战赛展开对话。Jim Fan 在访谈中坦言,机器人学习最大的问题就是 “仿真和真实世界存在差距”。这个问题目前集中在三个方面,一是感知差距,仿真的视觉、触觉等信号与真实场景(如物体纹理、光照)有差异;二是物理交互差距,仿真中物体的受力反馈、形变(如布料褶皱、流体流动)与真实物理规律有偏差;三是场景复杂度差距,真实世界的动态变化(如突发障碍物、物体状态突变)难在仿真中完全复现,导致机器人仿真所学难适配真实场景。
Jim Fan 同时表示,3D 计算机视觉、视频生成、3D 世界生成等生成式 AI 技术有望进一步提升仿真的真实感,可通过这些工具优化仿真环境的视觉渲染、物体细节,减少感知层面的差距。目前NVIDIA 与斯坦福合作的 “OmniGibson” 仿真引擎,已能支持刚体物理、可变形物体(布料、流体)交互,以及物体的加热、切割等复杂状态模拟。同时,Jim Fan也进一步强调,机器人学习不能依赖单一数据来源,同样需要 “仿真数据与真实数据相结合”。
而本期节目当中,Madison也提到了与Jim Fan相同的观点:“机器人不能只读取数据,它们必须亲身体验这个世界。” 她进一步解释,语言类程序可依托互联网海量数据训练,但机器人研发者面临显著数据困境。现实中手动采集数据成本高、效率低且存在安全风险,“没人会让机器人在现实里反复撞门来学习开门”,而仿真正是突破这一困境的关键路径。
谢晨认为,“ Sim2Real 就是我们在仿真中训练的内容能部署到现实世界,这其实是件非常困难的事”。他提到,自动驾驶的仿真到现实问题相对容易解决,因为其主要基于视觉;但机器人领域的情况截然不同。“一切都与物理接触有关,最重要的是操控,还需要结合灵巧手、触觉传感器,问题复杂得多”。同时,谢晨强调 “现实世界数据无法完全解决(机器人数据)壁垒”:当前机器人数量有限,难以像自动驾驶汽车那样大规模采集现实数据,因此 “我们必须使用合成数据,并且坚信合成数据将是解决物理 AI 数据壁垒最重要、最主要的数据来源”。
▍英伟达“三台计算机”逻辑 Sim2Real 如何串联机器人全链路?
在 Madison 与谢晨的对话中提到,过去十年,英伟达已不再是单纯的显卡企业,而是致力于打造机器人可学习的 “虚拟地球”。英伟达不直接研发机器人,而是为机器人领域提供从技术学习到落地应用的全链路体系。这套体系可通过 “三台计算机” 的逻辑理解,而 Sim2Real(仿真到现实)正是串联三者的核心纽带。
第一台是 AI 超级计算机(AI Supercomputer),是 “让机器学会处理信息” 的基础。与语言类程序依托海量文本数据训练理解能力类似,机器人核心程序也需算力支撑;但区别在于,机器人程序依赖物理世界数据,这就需要第二台计算机提供支持。
第二台是仿真计算机(Simulation Computer),以 Omniverse 和 Isaac Sim 为核心,负责让机器在虚拟世界中掌握感知与交互能力。Madison 在直播中强调:“自动驾驶仿真相对简单,核心依赖视觉;但机器人需要触摸、抓取、操作,物理交互才是关键难点。” 她还提到,外界常问英伟达 “能否做电缆、电线仿真”,这对英伟达而言意义重大 —— 其 NVL 72 液冷机架级 AI 计算系统及 Blackwell 系列产品的制造流程复杂,仅一个 NVL 72 机架就需两英里长铜缆,这类工作对人类而言枯燥且有安全风险,亟需机器人完成,因此电缆、电线仿真正是机器人领域亟待突破的 “圣杯级” 难题,而光轮智能在该领域的成果十分突出。
第三台是物理 AI 计算机(Physical AI Computer),由 GROOT(通用机器人基础程序)、Cosmos(世界模型)和 Jetson Thor(机器人端侧芯片)构成,负责让机器人在真实世界中执行任务,其中 Cosmos 是衔接仿真与现实的关键环节。
谢晨在直播中提到:“Cosmos 就像数据的放大器,我们将仿真生成的精准数据、现实采集的少量数据输入其中,它能生成更多样、更贴近真实情况的数据,解决机器人训练的数据量难题。”
为何必须在虚拟世界训练机器人?谢晨用实例解释:“要让机器人学会叠衣服,现实中需招募大量人员采集数据,还得考虑衣服材质、褶皱差异;但在仿真中,我们可生成上千种衣服模型、设置不同物理参数,让机器人几天内完成相当于现实几年的训练量。”
Madison 补充道:“Sim2Real 的关键不是让虚拟复制现实,而是让虚拟覆盖现实。通过场景随机化、参数调整,让机器人在虚拟中接触足够多的意外情况,到了现实中才能应对自如。”
▍为什么是光轮智能?“从根本上来说,我们离不开光轮智能”
这场直播选择谢晨作为对话嘉宾,不仅因他曾任职英伟达的经历,更核心的是其创立的光轮智能,与英伟达 Sim2Real 技术路线高度契合。双方已经不局限于简单的技术合作,而是形成了技术共生的关系。用Madison 的话说:“光轮智能是少数能在物理精度、交互逻辑、场景多样性上,全面匹配英伟达物理智能生态需求的合作方。”
Madison 在直播中提到,当前英伟达正重点推进 “物理 AI”(含机器人、自动驾驶、数字孪生)的技术落地与产业应用,“核心痛点是缺乏海量真实、多样化的物理交互数据,我们需要的是能真正落地的解决方案,而非停留在概念层面”。她表示,英伟达的技术布局需两大支撑:一是能稳定输出高质量数据的 “合成数据工厂”,二是与 “以 OpenUSD 为 SimReady 资产基础” 愿景一致的合作伙伴。“光轮智能成立的时机,恰好是英伟达最需要这样一支团队的时候,他们理解我们的技术逻辑,且能快速将其转化为实际成果”。“从根本上来说,我们离不开光轮智能“。
事实上英伟达这个方向与光轮智能在核心目标上不谋而合,谢晨在直播中回忆到:“2023 年我们成立光轮智能,目标是解决机器人领域的数据瓶颈。当时机器人领域尚处早期,我们先从自动驾驶合成数据切入,进而与英伟达自动驾驶团队展开合作,后续随着合作深入,我们陆续联动 Gear Lab 团队,以及 Omniverse 团队,如今还在和 Cosmos 团队协作,已逐步融入英伟达的生态链条”。
谢晨在直播中强调双方对 SimReady 资产的共识:“很多人误以为 SimReady 只是数字 3D 模型,但我和英伟达的看法一致:它必须具备真实的物理属性,比如冰箱铰链的阻尼、微波炉材质的摩擦系数”。他透露,光轮的核心工作是通过专业设备采集真实物理数据,再植入 SimReady 资产,“我们用物理设备从不同方向、位置采集力数据,在仿真中搭建同类传感器采集信息,通过对比真实与仿真的力测曲线,确保物理属性匹配。”
▍结语与未来
外界分析认为,此次直播是英伟达物理智能版图的非正式亮相:从 OpenUSD(3D 数据标准)、SimReady(仿真资产标准),到 Newton(物理计算)、Cosmos(世界模型),英伟达正构建物理智能全链路体系,而光轮智能正是该体系中的关键合作伙伴。随着双方合作的进一步加深,未来有望改变传统机器人产业的技术路径。
来源:机器人大讲堂