摘要:机器人仿真技术与机器人学习能力的提升,引领着行业的根本性变革。世界基础模型的兴起,更是加速了 AI 驱动的机器人的发展,使其能够灵活应对动态且复杂的场景。NVIDIA 正在通过一系列前沿技术,塑造着智能机器的未来,并在制造业、医疗健康、物流等多个领域推动着行业
机器人仿真技术与机器人学习能力的提升,引领着行业的根本性变革。世界基础模型的兴起,更是加速了 AI 驱动的机器人的发展,使其能够灵活应对动态且复杂的场景。NVIDIA 正在通过一系列前沿技术,塑造着智能机器的未来,并在制造业、医疗健康、物流等多个领域推动着行业进步。
比如,NVIDIA 通过提供诸如 NVIDIA Isaac GR00T N1 这样的机器人基础模型,NVIDIA Isaac Sim 和 NVIDIA Isaac Lab 等用于机器人仿真与训练的框架,以及帮助训练机器人执行各类任务的合成数据生成流程,帮助研究人员和开发者突破机器人技术的现有边界。
本文能够让您深入了解物理 AI 的最新动态。物理 AI 能够让机器在真实世界环境中,以更高的自主性和智能水平进行感知、规划与行动。
NVIDIA GTC 大会:
物理 AI 与机器人技术的最新突破
观看 NVIDIA GTC 全球 AI 大会的点播会议,聆听行业顶尖专家带来的关于机器人技术的最新成果。
在主题演讲中,NVIDIA 创始人兼首席执行官黄仁勋宣布推出 Isaac GR00T N1——全球首个开源且完全可定制的通用人形机器人基础模型,该模型可用于人形机器人的推理与各项技能。他还介绍了由 NVIDIA、Google DeepMind 和 Disney Research 共同开发的开源、可扩展物理引擎 Newton,该引擎将助力机器人学习与开发的进一步发展。
开发者、研究人员和机器人爱好者可通过以下途径获取更多信息:
人形机器人开发入门:探索 Isaac GR00T 平台,了解如何开发由 AI 驱动的人形机器人人形机器人开发者日:深入探讨机器人技术、基础模型以及仿真领域的最新突破物理 AI 与机器人技术会议合集:了解加速计算和生成式 AI 如何革新具身 AI边缘计算会议合集:学习如何利用 NVIDIA 边缘计算平台,为机器人实现低延迟、高性能的 AI 应用利用免费课程与开源数据,
开启机器人技术学习之旅
对于希望深入研究机器人开发的开发者,可从 NVIDIA 的免费“机器人基础学习路径”课程开始。这一系列由 NVIDIA 深度学习培训中心(DLI)提供的自主学习课程,涵盖了机器人基础概念、以及仿真和机器人学习中的关键工作流。每门课程都提供了在 NVIDIA Isaac 平台(包括 Isaac ROS、Isaac Sim 和 Isaac Lab)上的实践培训。
2025 年 NVIDIA GTC 大会的 DLI 培训实验室
在今年的 GTC 大会上,NVIDIA 为机器人开发者举办的线下培训实验室课程,已经可以在线获取。具体课程包括:
借助 Scaled Foundations 的技术,开发、仿真与部署机器人智能https://learn.nvidia.com/courses/course-detAIl?course_id=course-v1:DLI+S-OV-38+V1使用 MobilityGen 为机器人生成高质量运动数据https://learn.nvidia.com/courses/course-detail?course_id=course-v1:DLI+S-OV-37+V1借助 OpenUSD、Isaac Sim 和 ROS 进行机器人软件在环测试https://learn.nvidia.com/courses/course-detail?course_id=course-v1:DLI+S-OV-39+V1即将推出的课程包括:
NVIDIA Cosmos 物理 AI 入门https://learn.nvidia.com/courses/course-detail?course_id=course-v1:DLI+S-OV-42+V1借助 Isaac Lab 和 Apple Vision Pro 的模仿学习技术https://learn.nvidia.com/courses/course-detail?course_id=course-v1:DLI+S-OV-40+V1利用 NVIDIA GPU 驱动的库和 AI 模型加速 ROS 2https://learn.nvidia.com/courses/course-detail?course_id=course-v1:DLI+S-OV-41+V1此外,NVIDIA 还发布了一个免费的开源物理 AI 数据集。该数据集包含经过商业级验证的数据,可帮助研究人员和开发者快速启动他们的项目。初始数据集提供了 15 太字节的数据,涵盖超过 32 万个用于机器人训练的轨迹,以及 1000 个通用场景描述(OpenUSD)资产,其中包括已适配仿真的资产。
NVIDIA 物理 AI 数据集可以通过 Hugging Face 获取:
智元机器人:使用 NVIDIA GR00T
打造高效仿真数据采集方案
模仿学习是机器人技术发展的关键方向之一,通过观察和模仿人类专家的示范,机器人能够快速掌握新技能。然而,高质量示范数据的采集往往耗时费力且成本高昂,这严重制约了机器人学习的效率。
智元机器人基于 Isaac GR00T-Teleop & GR00T-Mimic 提供的远程仿真操作功能和强大的模仿学习合成数据生成工作流,打造了支持高保真模拟和多维度泛化的大型机器人仿真框架 Genie Sim,并推出 AgiBot Digital World(agibot-digitalworld.cn)机器人海量仿真数据集。这不仅大幅降低了数据采集的成本和时间,还为机器人模型训练提供了丰富的仿真数据资源,帮助机器人更高效地融入人类社会,推动各行各业的智能化转型。
详情请点击阅读:智元机器人使用 NVIDIA GR00T 打造高效仿真数据采集方案
群核空间智能平台:基于 Isaac Sim,
构建具身智能世界模拟器
在 AI 的广阔疆域中,从算法模型的训练到实际应用的落地,每一步都布满了挑战,而高质量数据的稀缺更是横亘在行业面前的巨大障碍。为跨越这一鸿沟,群核科技推出了“群核空间智能平台 SpatialVerse”,通过精准模拟真实世界的多样化场景,汇集了海量的 3D 模型与场景数据资源,为 AIGC、具身智能、AR/VR 等前沿科技领域提供了强大且高效的空间数据支撑与定制化服务。
为了满足具身智能行业的需求,群核空间智能平台基于 Isaac Sim 的 OpenUSD 标准,打造了智能空间数据方案,为具身智能行业提供了强大的“世界模拟器”。Isaac Sim 基于高保真度的 NVIDIA PhysX GPU 物理加速运算引擎,能够支持工业规模的多传感器 RTX 渲染,为用户提供了一个逼真的模拟环境。在这个环境中,机器人可以进行各种任务的模拟和测试,从而大大提升了研发效率。
详情请点击阅读:基于 NVIDIA Isaac Sim,群核空间智能平台 SpatialVerse 构建具身智能世界模拟器
坚米智能:借助 Isaac Lab,
加速四足机器人开发
随着具身智能的持续发展,特别是四足机器人领域,对于四足运控的通用性和可靠性、稳定性及可扩展性能等诸多方面提出了更多的诉求。面对快速增长的市场及客户需求,坚米智能(中坚科技)基于 Isaac Lab 平台自主开发了其仿真训练模型,不仅支持不同地形的强化学习场景,同时通过场景的混合渲染,显著提升了训练场景的泛化能力。同时,真实的物理引擎能提供准确的反馈,助力模型实现更高效的知识迁移,支持坚米智能(中坚科技)在模型训练方面积极创新,进一步提升模型性能,更进一步加快智能设备的迭代更新。
详情请点击阅读:NVIDIA Isaac Lab 助力坚米智能构建仿真训练模型,加速四足机器人开发
光轮智能:借助 Isaac Sim,
加速具身智能研发落地
高质量且丰富的训练数据,已成为推动创新的核心资源。特别是在具身智能应用中,数据的稀缺极大限制了模型能力的提升和潜在应用的拓展。因此,构建数据金字塔已成为突破数据瓶颈的关键。真实数据、互联网数据与合成数据相互补充,共同构建了具身智能体训练的坚实基础。合成数据的引入不仅有效降低了数据采集成本,还通过高度拟真的物理模拟,提供了强大的泛化能力,为智能体在多样化场景中的应用打下基础。
光轮智能基于 Isaac Sim 构建的合成数据解决方案,能够高效提升具身智能公司的模型能力。通过 3D 生成与建模技术构建高度逼真的虚拟场景,将现实世界的复杂场景抽象并转化为高质量的训练数据源,从而更有效地满足模型的多样化训练需求。
详情请点击阅读:借助 NVIDIA Isaac Sim,光轮智能加速具身智能研发落地
Scaled Foundations:
助力从仿真到现实应用的无缝过渡
机器人在实现复杂和重复性任务的自动化与规模化方面具有巨大潜力。然而,对机器人进行编程以安全执行这些任务,一直以来面临着诸多挑战,成本高昂,且需要专业技术。作为 NVIDIA 初创加速计划的成员,Scaled Foundations 通过其 GRID 平台降低了这一技术门槛。
通过将 Isaac Sim 集成到 GRID 中,Scaled Foundations 使用户能够快速推进新型机器人先进 AI 解决方案的开发与部署。开发者和学生可以在浏览器内使用最先进的工具,完成机器人 AI 系统的开发、仿真和部署工作。
观看 NVIDIA GTC 大会的会议“机器人仿真入门:学习如何开发、仿真和部署可扩展的机器人智能”,了解更多关于如何使用 Scaled Foundations 的 GRID 平台部署解决方案的信息:
Wheeled Lab:依托 Isaac Lab,
推动从仿真到现实的机器人技术发展
Wheeled Lab 是华盛顿大学的一个研究项目,它正致力于将从仿真到现实应用的机器人技术引入低成本的开源平台。
Wheeled Lab 与 Isaac Lab(用于机器人学习的统一框架)相结合,使强化学习模型能够训练轮式机器人执行复杂任务,如可控漂移、避障、爬坡和视觉导航等。这一流程运用领域随机化、传感器仿真和端到端学习的方法,来弥合仿真到现实的差距,同时确保实现从仿真到现实的零样本迁移。
漂移策略展示
在 Isaac Lab 仿真环境中进行训练的场景
整个技术栈,包括仿真、训练和部署环节,均为完全开源,开发者可以在可复现的环境中自由迭代、修改策略,并试验各种强化学习技术。
漂移策略展示
在 Isaac Lab 仿真环境中进行训练的场景
让机器人学会思考:
Nicklas Hansen 在 AI 领域的突破
要让机器人在现实世界中做出复杂决策,需要哪些关键技术?对于加州大学圣地亚哥分校的博士生、NVIDIA 研究生学金获得者 Nicklas Hansen 来说,答案在于可扩展且强大的机器学习算法。
凭借在加州大学伯克利分校、Meta AI(FAIR)和丹麦技术大学积累的丰富经验,Hansen 关于机器人在动态环境中感知、规划和行动的能力边界的研究正在取得突破。他的研究融合了机器人技术、强化学习和计算机视觉等多个领域,弥合了仿真与现实应用之间的差距。
Nicklas Hansen ,加州大学圣地亚哥分校博士生、NVIDIA 研究生学金获得者
Hansen 最新的研究成果解决了机器人技术中一个极具挑战性的问题:长周期操作。他的论文“通过示范增强奖励、策略和世界模型学习的多阶段操作(Multi-Stage Manipulation With Demonstration-Augmented Reward, Policy and World Model Learning)”提出了一个创新框架,通过采用多阶段任务结构,提高了在稀疏奖励环境中的数据利用效率。
左:仿真环境中的的 Franka 机器人执行插销操作任务的场景
右:Hansen 的 DEMO3 方法直接从原始视觉观察中推断任务进度的示意图
Hansen 的另一个重要项目“分层世界模型作为视觉全身人形机器人控制器(Hierarchical World Models as Visual Whole-Body Humanoid Controllers)”,进一步提升了人形机器人的控制策略,使其能够实现更灵活、更接近人类的动作。
除了专注于自身研究,Hansen 还积极倡导让 AI 驱动的机器人技术更加普及。
他表示:“对于任何想涉足机器人 AI 领域的人,我的建议是先从尝试各种可用的开源工具开始,逐步参与到符合自己目标和兴趣的项目中。借助像 MuJoCo、Isaac Lab 和 ManiSkill 这样的免费仿真工具,即使没有实际的机器人设备,也有机会在这个领域取得显著成果。”
Hansen 是 TD-MPC2 算法的第一作者,这是一种基于模型的强化学习算法,能够在无需任何领域知识的情况下学习各种控制任务。该算法已开源,可在单个消费级 GPU 上运行。
了解更多关于 Hansen 以及其他 NVIDIA 研究生奖学金获得者,如何推动 AI 和机器人技术创新的信息:
观看 NVIDIA GTC AI 大会“研究生项目速览”会议的回放,聆听 NVIDIA 研究生奖学金计划的博士生分享他们的开创性研究成果:
黑客松:展示由 Isaac GR00T N1
驱动的机器人项目
上个月举办的 Seeed Studio 具身 AI 黑客松吸引了机器人领域的众多参与者,他们展示了使用 LeRobot SO-100ARM 电机套件的创新项目。
此次活动突显了机器人学习在推动 AI 驱动的机器人技术发展方面的重要作用。各参赛团队成功集成了 Isaac GR00T N1 模型,大大加速了人形机器人的开发进程。其中一个引人注目的项目是开发了具有主从关系的机器人对,这些机器人能够通过在真实世界演示数据上对机器人基础模型进行后期训练,来学习抓取和放置任务。
该项目的具体工作流程如下:
真实世界模仿学习:机器人通过 Arducam 视觉系统和外部摄像头,观察并模仿人类的操作演示。后期训练流程:将捕获的数据整理成 modality.json 数据集,利用 GR00T N1 在 GPU 上进行高效训练。双手协同操作:对模型进行优化,实现对两个机械臂的同时控制,提升机器人的协作能力。该数据集现已在 Hugging Face 上公开提供,项目的实现细节可在 GitHub 上获取:
Firebreathing Rubber Duckies 团队与 NVIDIA 主办方共同庆祝项目成果
了解更多关于该项目的信息:
推动机器人技术发展:
IEEE 机器人与自动化协会
表彰机器人领域内的创新人才
IEEE国际机器人与自动化协会在今年 3 月公布了 2025 年度早期学术职业奖的获得者,以表彰他们在机器人与自动化领域的杰出贡献。
来自 NVIDIA 的 Shuran Song、Abhishek Gupta 和 Yuke Zhu 荣登今年的获奖者榜单,他们在可扩展机器人学习、现实世界强化学习和具身 AI 等领域取得了开创性的进展。他们的工作正在塑造下一代智能系统,为研究和现实世界应用带来了创新性的影响。
了解更多关于获奖者的信息:
Cosmos-Reason1:从物理常识到具身推理(Cosmos-Reason1: From Physical Common Sense to Embodied Reasoning)统一视频动作模型(Unified Video Action Model)RoboPanoptes:具备全身灵活性的全知机器人(RoboPanoptes: The All-Seeing Robot With Whole-Body Dexterity)SRSA:用于机器人装配任务的技能检索与适应(SRSA: Skill Retrieval and Adaptation for Robotic Assembly Tasks)HAMSTER:用于开放世界机器人操作的分层动作模型(HAMSTER: Hierarchical Action Models for Open-World Robot Manipulation)通过仿真引导的微调快速使策略适应真实世界(Rapidly Adapting Policies to the Real World via Simulation-Guided Fine-Tuning)GR00T N1:通用人形机器人的开放基础模型(GR00T N1: An Open Foundation Model for Generalist Humanoid Robots)用于人形机器人基于视觉的灵巧操作的从仿真到现实的强化学习(Sim-to-Real Reinforcement Learning for Vision-Based Dexterous Manipulation on Humanoids)ASAP:使仿真和真实世界物理相匹配,以学习敏捷人形机器人全身技能(ASAP: Aligning Simulation and Real-World Physics for Learning Agile Humanoid Whole-Body Skills)来源:NVIDIA英伟达中国