在“AI自动化”再下一城:NVIDIA 发布 Isaac GR00T N1模型,携手 GE 医疗引入物理 AI 助理开发自主诊断成像

B站影视 韩国电影 2025-03-19 18:16 1

摘要:当地时间 2025 年 3 月 18日,曾在 2024 年 GTC 亮相的可爱 BDX 机器人再次登台和NVIDIA 创始人兼 CEO 黄仁勋互动,其动和行动似乎更加自然、灵活了,赚足了眼球。

当地时间 2025 年 3 月 18日,曾在 2024 年 GTC 亮相的可爱 BDX 机器人再次登台和NVIDIA 创始人兼 CEO 黄仁勋互动,其动和行动似乎更加自然、灵活了,赚足了眼球。

会上,NVIDIA 还宣布推出一系列人形机器人全新技术。其中包括全球首个开源且完全可定制的基础模型 NVIDIA Isaac GR00T N1,该模型能够帮助通用人形机器人实现推理以及多项技能。

其他技术包括仿真框架和蓝图。比如用于生成合成数据的 NVIDIA Isaac GR00T Blueprint,再比如由NVIDIA和 Google DeepMind 及 Disney Research 共同开发的、专为机器人开发而构建的开源物理引擎 Newton

黄仁勋表示,通用机器人的时代已经到来。借助 NVIDIA Isaac GR00T N1 以及新的数据生成框架和机器人学习框架,全球机器人开发者将能更好地投入研发。

GR00T N1:完全可定制,为人形机器人赋予通用技能与推理技能

受人类认知原理的启发,GR00T N1 基础模型采用双系统架构。其中,系统 1”是一个快速思考的动作模型,反映人类的本能反应或直觉。系统 2”是慢思考模型,用于进行经过深度思考的决策制定。

系统 2 由视觉语言模型提供支持,它会对所处环境和接收到的指令进行推理,从而规划行动。系统 1 随后将这些规划转化为精确、连续的机器人运动。其中,系统 1 基于人类演示数据和 NVIDIA Omniverse平台生成的海量合成数据进行训练。

GR00T N1 可以轻松适应并完成通用任务,比如单手抓取或双手抓取、移动物体、将物体从一只手臂转移到另一只手臂、执行需要长语境和通用技能组合的多步骤任务等。这些功能进而可被用于物品搬运、包装和检查等场景中。

与此同时,通过使用真实数据或合成数据,开发者和研究人员可以针对特定人形机器人或任务对 GR00T N1进行后训练。

在 GTC 主题演讲中,黄仁勋展示了 1X 的人形机器人自主执行室内清理任务的过程,该款机器人的自主能力是 1X 与 NVIDIA AI 训练协作的成果。据介绍,上述过程利用了基于 GR00T N1 的后训练策略。

1X Technologies 首席执行官 Bernt Børnich 表示,人形机器人的未来开发重点在于适应能力和学习能力”。 NVIDIA 的 GR00T N1 模型在机器人推理和技能方面实现了重大突破。仅需最少量的后训练数据,就能在 NEO Gamma 上全面部署,这进一步推进了1X Technologies 的业务使命。让其所研发的机器人不是工具而是伙伴。”

目前,全球其他优先使用 GR00T N1 的机器人公司包括 Agility Robotics波士顿动力、Mentee Robotics 和 NEURA Robotics

NVIDIA 还宣布,为了进一步为开发者社区提供有价值的训练数据,NVIDIA 将发布 GR00T N1 数据集,以此作为更大的开源物理 AI 数据集的一部分。目前,已能通过 Hugging Face 下载。

会上,NVIDIA 还宣布推出了 NVIDIA DGX Spark,这是一款个人 AI 超级计算机,其能为开发者提供一站式系统,可将 GR00T N1 的功能扩展到新机器人、任务和环境,而无需进行大量自定义编程。

NVIDIA GR00T N1 训练数据和任务评估场景目前已经可以通过 Hugging FaceGitHub 下载。用于合成运动生成的 NVIDIA Isaac GR00T Blueprint 现在也以交互式演示形式在 展示,也可以通过 GitHub 下载。

未来,NVIDIA 将对这一系列模型进行预训练,并面向全球机器人开发者发布。对于那些受全球劳动力短缺困扰的行业而言,劳动力缺口预计超过 5 000 万,而这一模型的推出将有助于加速这些行业的转型。

Newton:新一代开源物理引擎

会上NVIDIA 还宣布与 Google DeepMind 和 Disney Research 合作,共同开发开源物理引擎 Newton,其能让机器人学会以更高的精度处理复杂任务。

Newton 基于 NVIDIA Warp 框架构建,将针对机器人学习进行优化,并与 Google DeepMind MuJoCo 和 NVIDIA Isaac™ Lab 等仿真框架兼容。此外,这三家公司还将尝试让 Newton 能够利用迪士尼的物理引擎。

眼下,Google DeepMind 正在和 NVIDIA 合作开发 MuJoCo-Warp,预计将机器人机器学习工作负载处理速度提升至 70 倍以上,并将通过 Google DeepMind 的 MJX 开源库和 Newton 提供给开发者。

另据悉,Disney Research 将成为首批使用 Newton 以推动其机器人角色平台发展的公司之一。“我们致力于以前所未有的方式,为更多角色赋予生命,而与 Disney Research、NVIDIA 和 Google DeepMind 的合作是实现这一愿景的关键,””Walt Disney 想象工程研发部门高级副总裁 Kyle Laughlin 说。

NVIDIA 还将和 Disney Research 及 Intrinsic 进一步合作,为机器人数据流构建 OpenUSD 管线和最佳实践。另据悉,Newton 物理引擎预计将在今年晚些时候推出。

用更多数据推动机器人后训练发展

大型、多样化且高质量的数据集对机器人开发至关重要,但捕获成本高昂。在真实世界中,每人一天只有 24 小时,由此产生的人类演示数据,对于人形机器人来说是远远不够的。

NVIDIA此次发布的用于合成运动生成的 NVIDIA Isaac GR00T Blueprint 有助于应对这一挑战。该蓝图基于 Omniverse 和 NVIDIA Cosmos Transfer 世界基础模型构建,让开发者可以通过少量的人工演示生成大量合成运动数据,以用于操作任务。

利用为本次蓝图提供的首批组件,NVIDIA 能够在短短 11 小时内生成 780000 个合成轨迹,相当于 6500 小时或连续九个月的人类演示数据。然后,通过将合成数据与真实数据相结合,与仅使用真实数据相比,NVIDIA 将 GR00T N1 的性能提高了 40%。

NVIDIA与 GE 医疗合作,通过引入物理 AI 推进自主诊断成像开发

与此同时,NVIDIA 宣布与 GE 医疗合作,共同推进自主成像技术创新,重点开发自主 X 射线技术与超声应用。

为在 X 射线和超声等系统中实现自主性,医疗成像系统需理解物理世界并自主操作,从而自动化复杂工作流,如患者定位、扫描与质量检测等。

为了实现这一目标,GE 医疗正在采用全新的 NVIDIA Isaac™ for HealthCare 医疗设备仿真平台。该平台包含预训练模型及基于物理的传感器、解剖结构与环境仿真,能够加速研发流程,使 GE 医疗能够在部署前通过虚拟环境训练、测试与验证自主成像系统能力。

“医疗行业是 AI 最重要的应用领域之一,当前医疗服务需求远超供给。”NVIDIA 医疗健康副总裁 Kimberly Powell 表示,“我们正与行业领先企业 GE 医疗合作,通过 Isaac for Healthcare 的三台计算机为能够挽救生命的医疗设备赋予自主能力,助力全球医疗服务普及。”

超声与 X 射线是最常见且广泛使用的诊断成像系统,然而全球近三分之二的人口却无法获得享受到此类检查服务。如果能为成像系统增加机器人能力,将有助于扩大医疗服务覆盖范围。

NVIDIA 与 GE 医疗已合作近二十年,在CT、MRI、影像引导治疗与乳腺成像等领域共同开发创新影像重建技术。

“GE 医疗致力于通过创新技术重新定义患者护理并提升护理体验。”GE 医疗影像业务总裁兼首席执行官 Roland Rott 表示,“我们期待借助由 NVIDIA技术 支持的物理 AI 开发自主成像系统,改善患者就诊体验,应对医疗行业日益增长的工作量与人力短缺挑战。”

NVIDIA 推出Isaac for Healthcare:弥合仿真与现实的鸿沟

Isaac for Healthcare 是基于 NVIDIA 三大机器人计算平台(NVIDIA DGX™,NVIDIA Omniverse™ 以及 NVIDIA Holoscan)构建的物理 AI 平台,现已开放提前试用。其包含专为医疗机器人优化的 AI 模型,可以通过增强视觉与语言处理能力实现理解、行动与观察功能。该平台还提供了仿真框架,让开发者能够精确针对医疗环境进行仿真,并能通过边缘 AI 计算平台 NVIDIA Holoscan 实现机器人的实时决策。

此前,医疗传感器的仿真选项通常有限。而借助 Isaac for Healthcare,开发者可以访问基于物理的医疗环境数字孪生,导入定制传感器、器械甚至解剖结构,借此将机器人训练得能够应对多样化场景。

Isaac for Healthcare 支持从微观结构、手术室到完整医院设施的多尺度仿真。通过仿真策略训练,机器人系统可学习如何在手术室的各种医疗场景中做出反应,以及如何以最佳方式辅助医生做出决策和为患者提供护理服务。

据了解,NVIDIA 还将通过 Isaac for Healthcare 支持客户构建仿真环境用例。对于仿真环境使机器人系统来说,它能在物理精确的虚拟环境中安全学习技能,以便应对手术等难以复现的现实场景。

Isaac for Healthcare 通过仿真复杂医疗场景、训练 AI 模型及优化手术、内窥镜与心血管介入等机器人应用,能够加速医疗机器人解决方案的开发。目前,包括Moon Surgical、Neptune Medical 与 Xcath在内的机构已经提前开始使用这一平台。

该平台还支持生态合作伙伴将其仿真工具、传感器、机器人系统与医疗探针无缝集成至专用仿真环境。目前,包括 Ansys、Franka、ImFusion、Kinova 与 Kuka 在内的生态合作伙伴已经提前开始部署这一功能。

总的来说,通过持续投入AI领域和机器人领域,NVIDIA 将实现更加多元的技术布局,也将更好地以润物细无声的让更多人享受到AI技术的便利。

来源:DeepTech深科技

相关推荐