摘要:随着机器人技术从工业自动化发展到人形辅助和人机协作领域,对灵巧机器人手的需求激增。驱动不足的机器人手难以复制人类的操作,也无法为人工智能训练提供可靠的触觉反馈。
产品
MANUS Metagloves ProMANUS 量子超手套MANUS Core ROS 2软件包(通过SDK许可)背景
随着机器人技术从工业自动化发展到人形辅助和人机协作领域,对灵巧机器人手的需求激增。驱动不足的机器人手难以复制人类的操作,也无法为人工智能训练提供可靠的触觉反馈。
其首款产品级灵巧机器人手XH。XH尺寸与人手相仿,配备先进传感器,旨在复制复杂的手部动作,操作现实世界的工具,并作为下一代研究和部署的平台。
挑战
XH拥有12个完全可控的自由度 (DoF),因此其开发需要一种能够匹配其速度、精度和灵巧性的动作捕捉解决方案。基于视觉的跟踪系统虽然能够有效识别基本的手势,但在应用于高级机器人操作时却显得力不从心。
速度和延迟:基于视觉的系统通常会引入明显的延迟,从而限制了精细操作和实时远程操作的响应速度。
灵巧度映射:XH的12个自由度需要高保真度的输入,其中每个关节都需要独立捕捉和映射。
遮挡和连续性:当手指重叠或移出视野时,视觉追踪容易中断,导致运动数据不一致。这会降低控制的可靠性和训练数据集的质量。
解决方案
为了克服速度、灵巧性和稳健动作捕捉方面的挑战,ROBOTERA通过ROS2将MANUS手指追踪功能与XH灵巧手集成在一起。
以下几个关键组件实现了这一工作流程:
MANUS ROS2软件包:MANUS C++ SDK的ROS2封装器,可将MANUS手套无缝集成到 ROS2项目中。它使用自定义消息类型将手套数据发布为ROS2主题,包括原始骨骼数据、人体工程学数值和传感器数据(Metagloves Pro)
重定向层:重定向节点将MANUS手套的输入转换为XH的12自由度手部模型,确保操作直观,并能实现精细操作的精确控制。
XHandControlROS2:一个用于与XH进行EtherCAT通信的ROS2软件包,提供完整的关节控制和传感器读数功能。它通过ROS2主题、服务和回调函数提供完整的控制接口。
展望未来
除了目前的集成之外,MANUS和ROBOTERA正在测试一种压力触觉桥接技术,该技术将XHAND1的触觉阵列与下一代触觉手套连接起来。一旦完全实现,这将:向操作人员提供实时触觉反馈,使他们能够感受到机器人手所感知到的力、纹理和温度,提升远程操作和人机协作中的远程呈现精度。
通过将动作捕捉与触觉传感相结合,提供沉浸式训练数据集,加速具身人工智能研究。
这些进步共同为真正沉浸式灵巧机器人技术奠定了基础,在这种技术中,控制和触摸融合为一个无缝的人机交互界面。
关于搜维尔科技
我们热衷于动作捕捉技术的研发与推广。我们热衷于推动技术发展,使其处于技术前沿甚至更前沿。在这个频道上,我们想分享我们基于动作捕捉技术的最新体验。搜维尔科技与Manus总部签署代理合作协议,成为其在中国大陆地区的授权代理经销商。搜维尔科技现支持相关产品购买、咨询与售后支持等服务,欢迎垂询。
来源:搜维尔科技
