100W+帧具身实机数据 乐聚首个人形科研训练场!开箱即用一站式!

B站影视 韩国电影 2025-04-18 19:53 2

摘要:在一汽工厂的某车间内,夸父人形机器人正执行装箱、搬运及分拣等自动化作业任务。据悉,该车间为一汽工厂首条人形机器人自动化验证作业产线,多台夸父机器人在工作区域内协同作业,秩序井然,这是夸父人形科研训练场首批验证试点场景。

在一汽工厂的某车间内,夸父人形机器人正执行装箱、搬运及分拣等自动化作业任务据悉,该车间为一汽工厂首条人形机器人自动化验证作业产线,多台夸父机器人在工作区域内协同作业,秩序井然,这是夸父人形科研训练场首批验证试点场景。

本次发布的人形科研训练场涵盖100W+帧具身实机数据,覆盖六大场景,二十种常见物体,配合高性能机器人本体、主流开源模型、丰富的训练解决方案、完善的采集工具链。使开发者有效降低研发门槛,专注模型算法研究,进一步提升研发效率。

▍人形科研训练场四大基础架构 核心功能解析

乐聚人形机器人训练场核心模块分为训练层、持久存储层、数据层和设备层四个核心模块,在训练层中,系统利用算力GPU资源,通过Torch Cuda进行高效计算。基础模型算法模块包含扩散策略、act等。

数据层负责数据的采集和保存,包括数据格式转换、数据清洗和数据封装,最终生成*.bag格式的数据包。数据采集分为遥操作采集和端侧操作采集,遥操作采集在运用时进行,端侧操作采集则包括集中采集、运行采集以及视觉、触觉和关节数据的采集。

设备层包括VR动作捕捉设备,用于遥操作数据映射、ik/重定向,以及多个机器人组成的端侧操作系统,负责模型编排和动作组合。此外,设备层还包含NVIDIA的GPU硬件,提供强大的计算能力支持。整个系统架构通过各层的协同工作,实现了从数据采集、模型训练到实际应用的完整流程。

▍双平台x275 Tops算力 支持两款人形采集本体

在采集本体方面,乐聚支持两种异构机器人形态,分别为Kuavo 4pro Max全尺寸人形机器人和Kuavo LB轮臂式人形机器人。这两种机器人形态可覆盖多个场景,且支持多机器人平台协同作业。同时,机器人配备夹爪或多指灵巧手,以满足模仿学习、多任务策略训练等研究需求。

Kuavo 4pro Max 全尺寸人形机器人

Kuavo LB 轮臂式人形机器人

为确保数据的高效处理,机器人搭载了NVIDIA Jetson AGX Orin开发套件。该套件包含Jetson AGX Orin模组,拥有高达275 TOPS的算力,运行于NVIDIA AI软件堆栈。

该配置使机器人能够在边缘端执行复杂计算任务,如数据处理、模型推理等,进而大大提升了数据采集和处理的效率,为后续模型训练和算法优化提供了高质量的研究基础。

▍100W+帧具身实机数据 涵盖六大场景 二十种常见物体

为构建人形机器人技术开放生态,乐聚推出了行业领先的全栈开源解决方案,该方案涵盖大规模多模态数据集、标准化训练框架与部署工具链。

大规模多模态开源数据集是本次发布的人形科研训练场的重要组成部分。此数据集聚焦于多场景人形机器人具身智能训练,提供高精度、多模态的机器人交互数据。

数据集覆盖了两类机器人平台、六种任务场景以及二十种常见物体类别,例如工具、箱体、零部件、海绵、餐盘等,包含超过1000000条真实世界的示教轨迹。

这些数据通过高精度VR遥操作系统采集,完整记录了多视角视觉信息、本体感知状态以及语言任务描述,可支持模仿学习、视觉语言动作模型(VLA)及世界模型训练等多种应用场景。

双臂称重三视角采集数据(头部与左右腕三视角画面)

使用扳手拧螺丝(头部与左右腕三视角画面)

蔬菜抓取与放置涉及左右手协同任务(头部与左右腕三视角画面)

物体称重操作(头部与左右腕三视角画面)

场景应用方面,科研版数据集包含了工业操作与日常任务中的多种关键任务场景,如扫码识别、物品称重、装箱、搬运、分拣、清洁等。该数据集通过标准化流程采集多维度数据,涵盖关节状态数据、控制数据、左右眼广角视觉数据、左右手局部操作数据,以及灵巧手和夹爪的状态数据与控制数据等。

目前科研版数据集已收集超过100万帧实机数据,为模型训练和算法优化提供了丰富的样本资源。

在标准化方面,该技术方案采用LeRobotDatasetV2这一标准化数据格式,同时配套提供了一系列开源的先进算法训练框架。这些框架兼容乐聚生态下的训练脚本,如Diffusion Policy、ACT等,且已在Kuavo系列人形机器人上完成任务验证。

需要指出的是,方案提供的Kuavo IL机器人模仿学习框架集成了多种先进模仿学习方法。该框架支持多种数据格式转换,以满足不同的训练需求,并提供灵活的模型训练和部署方式,既支持单机训练,也支持分布式训练,还能在多种机器人平台上进行模型部署。此外,部署工具链与数据采集系统共享统一的代码库,从而确保了从策略训练到硬件部署的无缝衔接。

目前,该方案已支持桌面级的双手操作任务,例如抓取放置、称重、容器操作等,同时也能够处理多物体交互、长时程任务等复杂场景。其应用范围覆盖家居、工业、零售等多个领域中的物品操作。开发者能够以低成本的方式扩展训练数据,并验证策略的有效性,这进一步降低了人形机器人具身技术的研发门槛。

▍可进行端云协同大规模训练

本次发布的乐聚人形科研训练场整合了InsightOS端侧操作系统与云端平台,方便开发者进行端云协同大规模训练。

端侧操作系统InsightOS是专为通用人形机器人设计的,着重强调灵活性与泛化能力。该系统支持语义决策与现场任务自装配,能够为机器人的操作提供智能化支持。

云端平台兼容包括华为云、金山云在内的多个AI算力平台。其基于华为云八爪鱼(Octopus)开发平台构建人形机器人数据闭环,提供从数据采集、模型训练到应用部署的全流程支持。该平台整合了数据标注、仿真验证等模块,开发者无需从头搭建复杂的具身智能开发体系,即可快速开展算法训练,专注于模型优化与应用创新。

▍结语与未来:

本次发布的乐聚人形训练场科研版以夸父高性能本体为基础,结合数据采集工具链,涵盖从数据训练到模型部署的全流程,为开发者提供全栈式解决方案。该方案进一步降低了开发者的准入门槛,使普通开发者能够更轻松地开展工作,专注于算法研发,实现真正意义上的开箱即用。乐聚表示,目前科研版操作技能库与具身智能数据集仍在持续更新,未来训练场将能够适配更多落地应用场景,实现从科研到工业场景的赋能。

来源:机器人大讲堂

相关推荐