摘要:其实在此之前,比如谷歌等也曾构建过相关数据集,不过因为其中大部分数据缺乏统一标准化采集流程,任务缺少真实生活场景,另外数据质量和格式也参差不齐,因此有可能会导致在机器人策略学习的过程中出现一些副作用。
提到稚晖君,毫无疑问,在科技圈一直是顶流的存在。
不久前,我们刚写文章聊了聊稚晖君在动态里正式官宣智元开启通用机器人商用量产的事情。
这才过去十来天,最近,稚晖君在动态里又来了一波大更新,并且这次又双叒叕带来了一项硬干货,那就是官宣了:
正式开源百万真机数据集 AGIBot World!
相信不少同学也刷到了这条动态。
这也是目前业界最大的真机数据集开源,至此,具身智能领域的 ImageNet 时刻也已经到来了。
高质量的真机数据集对于具身智能技术的探索和发展非常重要。
其实在此之前,比如谷歌等也曾构建过相关数据集,不过因为其中大部分数据缺乏统一标准化采集流程,任务缺少真实生活场景,另外数据质量和格式也参差不齐,因此有可能会导致在机器人策略学习的过程中出现一些副作用。
谷歌OXE数据集
而这次稚晖君官宣开源的真机数据集,这也是全球首个基于全域真实场景、全能硬件平台、全程质量把控的百万真机数据集开源项目,名为:AgiBot World。
按照官方所说,这次开源的 AgiBot World 长程数据规模高出10倍,场景范围覆盖面扩大100倍,数据质量从实验室级上升到工业级标准。
在这个具身数据的世界里,机器人不再只是进行简单的桌面任务,而是进入到人类日常生活的方方面面。
总结来说,AgiBot World 数据集具备以下特点:
涵盖多样任务,包括抓取、放置、搅拌、折叠、熨烫等一系列动作,收录多达80多种日常生活中的多样化技能视频。包含家居、餐饮、工业、商超和办公五大核心场景,100多种真实场景,全面覆盖机器人应用需求。为机器人配备8个环绕式摄像头、6自由度灵巧手及高精度传感器,具备全能硬件条件。数据集严格质量把控,经过一套严苛的流程与验证链路。同时这次开源也成为了具身智能技术发展过程中的重大突破和里程碑事件,更是推进具身智能通用人工智能(AGI)实现的重要加速器。
项目开源地址:
GitHub:github.com/OpenDriveLab/agibot-world抱抱脸:huggingface.co/agibot-world除此之外,智元还规划了未来一系列的开源与发布活动,在 AgiBot World 的官网上还可以看到2025年的发布预告。
那感兴趣的同学也可以期待一下了。
第一次官宣开源是在3个月前。
当时稚晖君在B站动态突然来了一波更新,并且带来了一项硬干货,那就是:
智元自主研发的高性能中间件 AimRT 正式宣布开源。
AimRT 是一个面向现代机器人领域的运行时开发框架,轻量易部署,在资源管控、异步编程、部署配置等方面均具有更现代的设计,并且源码也托管在包括 Gitee 和 GitHub 等多个开源社区。
AimRT开源代码仓库
AimRT 项目代码结构:
src├── common // 一些基础的、可以直接使用的通用组件,例如 string、log 接口、buffer 等├── examples // AimRT 官方示例│ ├── cpp // CPP 接口的示例│ ├── py // Python 接口的示例│ └── plugins // 一些各方插件的使用示例├── interface // AimRT 接口层│ ├── aimrt_core_plugin_interface -------- // [CPP] 插件开发接口│ ├── aimrt_module_c_interface // [C] 模块开发接口│ ├── aimrt_module_cpp_interface --------- // [CPP] 模块开发接口,对 C 版本的封装│ ├── aimrt_module_protobuf_interface ---- // [CPP] 与 protobuf 相关的模块开发接口,基于 CPP 版本接口│ ├── aimrt_module_ros2_interface -------- // [CPP] 与 ROS2 相关的模块开发接口,基于 CPP 版本接口│ ├── aimrt_Pkg_c_interface // [C] Pkg 开发接口│ └── aimrt_type_support_pkg_c_interface - // [C] Type support 包接口├── plugins // AimRT 官方插件├── protocols // 一些 AimRT 官方的标准协议├── runtime // AimRT 运行时│ ├── core // 运行时核心库│ ├── main // 基于 core 实现的一个主进程"aimrt_main"│ └── python_runtime // 基于 pybind11 封装的 python 版本运行时└── tools // 一些配套工具第二次开源正好是在1024程序员节这个时间节点。
当时稚晖君在B站动态里又再次官宣:灵犀X1的全套资料也正式官宣开源了!
众所周知,在2024年8月份的智元2024年度新品发布会上,稚晖君一共发布了5款机器人新品。
其中就包含一款全栈开源机器人:灵犀X1。
灵犀X1
灵犀X1全身包含29个关节(R86-2*9、R86-3*6、R52*10、L28*4)和2个夹爪,支持扩展头部3自由度。
灵犀X1整机结构
并且其拥有模块化设计、高自由度,以及高扩展性等诸多优势。
而这次开源则带来了包括:
开发指南(zhiyuan-robot.com/DOCS/OS/X1-PDG)结构设计资料,包括BOM清单、整机STEP、整机图纸、装机SOP(github.com/AgibotTech/agibot_x1_hardware)推理代码(github.com/AgibotTech/agibot_x1_infer)训练代码(github.com/AgibotTech/agibot_x1_train)硬件模块(oshwhub.com/pengzhihui/agibot-x1)等等在内的全套资料,并毫无保留的分享给了大家,同时也表示欢迎大家去复刻。
从文档到代码,从图纸到清单,这套软硬件资料全部下来总大小超过了1.2GB。
至此,智元机器人也成为了业内首家全栈开源人形机器人图纸和代码的公司,还是非常具有里程碑意义的。
而第三次官宣开源就是最近的:正式开源百万真机数据集!
至此为止,当初稚晖君在智元发布会上预告的三大开源承诺:
开源→AimRT开源→灵犀X1开源→具身数据集一个不落,三集全部都完成兑现了!
除此之外,智元机器人官网上还专门设置了一个「开源」菜单:
看到这里不得不说,这格局真不是一般的打开。
其实聊到开源这件事,不管是稚晖君自己以前B站的各种作品,还是如今创业后的发布产品,其实大佬一直都有在致力于做这件事情,开源过很多有趣的东西。
而稚晖君今年的这三次大规模机器人资料开源,目的也是希望通过开源开放和生态共创来降低人形机器人的开发门槛,从而共同推进人形机器人和具身智能技术的创新发展。
稚晖君慷慨解囊地分享了快速造机器人的秘籍,而“人形机器人人人造”的理想也逐渐照进了现实。
对机器人开发感兴趣的同学可以说有福了,这波可以直接站在巨人的肩膀上。
注:本文在GitHub开源仓库「编程之路」 https://github.com/rd2coding/Road2Coding 中已经收录,里面有我整理的6大编程方向(岗位)的自学路线+知识点大梳理、面试考点、我的简历、几本硬核pdf笔记,以及程序员生活和感悟,欢迎star。
来源:CodeSheep