在机器人广阔天地大有作为:NVIDIA发布全新开源模型与仿真库

B站影视 港台电影 2025-10-03 22:36 1

摘要:2025 年 9 月 27 日至 10 月 2 日,机器人学与机器学习交叉领域的全球顶级学术会议——机器人学习大会(CoRL,Conference on Robot Learning)在韩国首尔举办。

2025 年 9 月 27 日至 10 月 2 日,机器人学与机器学习交叉领域的全球顶级学术会议——机器人学习大会(CoRL,Conference on Robot Learning)在韩国首尔举办。

在CoRL 收录的论文中,近半数引用了 NVIDIA 的相关技术,包括 GPU、仿真框架和 CUDA 加速库,这些论文来自美国卡内基梅隆大学、美国华盛顿大学、瑞士苏黎世联邦理工学院新加坡国立大学等机构。

与此同时,NVIDIA 在CoRL上宣布,开源物理引擎 Newton 现已可以通过 NVIDIA Isaac™ Lab 获取,同时推出的还有用于机器人技能的开源推理视觉语言动作模型 NVIDIA Isaac GR00T N1.6,以及全新 AI 基础设施。这些技术为开发者和研究人员提供了开源型机器人加速平台,能够加快迭代周期、统一测试标准、整合训练与机器人端推理,助力机器人安全可靠地将技能从仿真环境迁移到现实世界。

可以说,NVIDIA 为一众机器人公司打造了全流程 “加速引擎”:以 Newton 物理引擎搭建精准仿真 “训练场”,用 Isaac GR00T 模型赋予机器人理解指令的 “智慧大脑”,再靠全新 AI 基础设施打通训练到部署链路。这套开源工具能加快研发迭代,统一测试标准,助力技能安全落地,已获众多企业采用。

(来源:资料图)

据了解:

Newton是一个专门为机器人研发的GPU加速物理仿真引擎,这一引擎基于NVIDIA Warp和OpenUSD框架构建,能够兼容多种物理求解器。它旨在解决人形机器人因关节、平衡和动作复杂而带来的仿真难题,它能模拟在雪地或碎石上行走、操控杯子和水果等复杂动作,并能将这些技能安全可靠地从仿真环境迁移到现实世界。

NVIDIA Isaac GR00T N1.6是一款开源的机器人基础模型,旨在提升机器人在物理世界中的推理与行动能力。在深度推理上,该模型集成了Cosmos Reason作为其“思考大脑”,使机器人能够理解类似于“帮我拿杯水”这样的模糊指令,并能利用人类常识和物理原理将指令分解为可执行的步骤。在复杂动作上,它能增强机器人移动于操控物体的协调能力,例如完成推开较重的门等需要躯干和手臂协同发力的复杂任务。

NVIDIA Omniverse 与仿真技术副总裁 Rev Lebaredian 表示:“人形机器人是物理 AI 的下一个前沿领域,需要在不可预测的世界中进行推理,适应环境并安全行动。通过最新升级,开发者可以拥有将机器人从研发阶段带入日常生活的三大核心工具,包括充当机器人‘大脑’的 Isaac GR00T,负责对机器人‘身体’运作进行仿真的物理引擎 Newton,以及作为机器人‘训练基地’的 NVIDIA Omniverse。”

物理引擎 Newton,打造机器人物理仿真新标准

机器人在仿真环境中的学习速度更快、安全性更高,但人形机器人关节结构、平衡控制和动作模式非常复杂,现有物理引擎的性能已经难以满足。全球超过 25 万机器人开发者亟需精准的物理仿真技术,以确保在仿真环境中教会机器人技能,同时安全可靠地迁移到现实世界。

此次会上,NVIDIA 宣布开源物理引擎 Newton 已发布测试版本。该物理引擎由英国公司 Google DeepMind、美国公司 Disney Research 与 NVIDIA 联合开发,基于 NVIDIA WarpOpenUSD 框架构建,现已开放使用。

凭借 Newton 灵活的设计,以及兼容多种物理求解器的能力,开发者可以针对非常复杂的机器人动作进行仿真,并能将相关动作部署到现实场景中。

据了解,包括瑞士苏黎世联邦理工学院机器人系统实验室、德国慕尼黑工业大学及北京大学在内的众多知名高校,以及中国机器人技术公司光轮智能、中国仿真引擎公司 Style3D 正在使用 Newton。

Cosmos Reason 帮助开源模型 Isaac GR00T N1.6 提升机器人推理能力

为了在物理世界中执行类似人类的任务,人形机器人必须能够理解模糊指令,并应对各种以前未见过的复杂情况。

最新发布的开源机器人基础模型 NVIDIA Isaac GR00T N1.6将集成 NVIDIA Cosmos™ Reason,后者是一款专为物理 AI 打造的开源、可定制的推理视觉语言模型。作为机器人的“深度思考大脑”,Cosmos Reason 能够利用已有知识、常识和物理原理,将模糊的指令转化为逐步执行的计划,从而应对新场景并泛化到多种任务中去。

目前,Cosmos Reason 的下载量已超过 100 万次,在 Hugging Face 的物理推理模型排行榜上位居榜首。该模型还能够筛选和标注大量真实及合成数据,进而能够用于模型训练。据了解,Cosmos Reason 1 现已作为 NVIDIA NIM™ 提供。需要说明的是,NVIDIA NIM是一款易于使用的 AI 模型部署微服务。

借助 NVIDIA Isaac GR00T N1.6,人形机器人可以同时完成移动和物体操控动作,其躯干和手臂拥有更大的活动自由度,能够完成各种高难度任务。

开发者还可以利用 Hugging Face 平台上的开源 NVIDIA 物理 AI 数据集,对 NVIDIA Isaac GR00T N 系列模型进行后训练。据介绍,该数据集包含数千条合成及来自真实世界的轨迹数据,目前下载量已超过 480 万次。

面向物理 AI 开发全新 Cosmos 世界基础模型

NVIDIA 此次还宣布了开源 Cosmos 世界基础模型(WFM,World Foundation Model)全新更新。目前,该模型的下载量已超过 300 万次,开发者可通过文本、图像和视频提示生成多样化数据,来加速物理 AI 模型的训练。

即将推出的 Cosmos Predict 2.5 将三款 Cosmos 世界基础模型进行整合,集成为一个功能强大的模型,大幅降低了复杂度,能够节省开发时间并提高效率。它支持更长时长的视频生成,最长可创建 30 秒视频,同时能够提供多视角摄像头输出,从而可以实现更加丰富的世界仿真效果。

相比上一代模型,即将推出的 Cosmos Transfer 2.5生成结果速度更快、质量更高,而模型大小仅为上一代模型的 1/3.5。该模型能够根据真实的 3D 仿真场景和空间控制输入,比如深度信息、分割数据、边缘信息和高分辨率地图等,生成逼真的合成数据。

开发者预览版 NVIDIA Isaac Lab 2.3能够针对机器人抓取技能的新工作流进行训练

教会机器人抓取物体是机器人领域最具挑战性的任务之一。这不仅涉及机械臂的移动,还需要将抽象的指令转化为精准的动作,机器人必须通过反复试错才能掌握这项技能。

基于 NVIDIA Omniverse™ 构建的开发者预览版 NVIDIA Isaac Lab 2.3 新增了灵巧抓取工作流。该工作流通过自动化课程体系,在虚拟环境中对拥有多手指的机器人和机械臂进行训练,从简单任务开始,逐步提升难度。该工作流会调整重力、摩擦力、物体重量等参数,训练机器人在不可预测的环境中也能掌握技能。目前,美国机器人公司Boston Dynamics 的 Atlas 机器人借助这一工作流学习抓取技能,让其操控能力得到了显著提升。

打造开源策略评估框架,在仿真环境中评估机器人的习得技能

让机器人掌握一项新技能(如拿起杯子或穿过房间)非常困难,在实体机器人上测试这些技能不仅耗时且成本高昂。仿真技术为解决这一问题提供了途径,它能够在许多场景、任务和环境中测试机器人习得的技能。但是,即便在仿真环境中,开发者构建的测试场景往往零散且简单化,无法真实反映现实世界的复杂情况。在完美且简单的仿真环境中学会导航的机器人,一旦面临现实世界的复杂状况就会失败。

为了让开发者无需从零构建系统,即可以在仿真环境中开展复杂、大规模的评估,NVIDIA 与光轮智能联合开发了 NVIDIA Isaac Lab Arena这一用于大规模实验和标准化测试的开源策略评估框架。据了解,该框架即将于不久后推出。

全新 NVIDIA AI 基础设施,为机器人工作负载提供全面支持

为了让开发者充分利用这些先进的技术和软件库,NVIDIA 还推出了专为高要求工作负载设计的 AI 基础设施,包括:

首先是 NVIDIA GB200 NVL72:这是一款集成 36 个 NVIDIA Grace™ CPU 和 72 个 NVIDIA Blackwell GPU 的机架式系统。NVIDIA表示,当前各大云服务提供商已开始采用该系统,旨在加速 AI 训练和推理过程,包括复杂推理和物理 AI 任务。

其次是 NVIDIA RTX PRO™ 服务器:这是为机器人开发的各类工作负载(包括训练、、和)提供统一架构。目前,美国RAI Institute 研究所正在采用 RTX PRO 服务器。

最后是 NVIDIA Jetson Thor™:其搭载 Blackwell GPU,能够支持机器人运行多个 AI 工作流,实现实时智能交互,带来机器人端实时推理功能。这一突破对于高性能物理 AI 工作负载以及人形机器人等应用具有重要意义。

后记:机器人之广阔天地,NVIDIA 大有可为

当前,机器人领域正迎来爆发式增长的黄金期,市场前景极为广阔。在政策扶持与技术创新双轮驱动下,机器人正从传统制造业向家庭服务、精准农业等多元场景渗透,智能化、柔性化成为核心发展方向。在此浪潮中,NVIDIA 凭借全栈技术布局展现出强劲竞争力,大有可为。从工业机械臂到家用服务机器人,NVIDIA 通过“硬件+软件+生态”的协同优势,正成为机器人产业智能化升级的核心引擎。

来源:DeepTech深科技

相关推荐