遥操作系统 OpenTeleVision——融合 VR 技术与机器人控制的创新框架

摘要：遥操作是一种强大的方法，用于收集机器人学习示范所必需的机器人数据。遥操作系统的直观性和易用性对于确保高质量、多样化和可扩展的数据至关重要。本文介绍了一种结合 VR 设备和机器人控制的沉浸式远程操作系统OpenTeleVision，该系统是一个适用于不同VR设备

遥操作是一种强大的方法，用于收集机器人学习示范所必需的机器人数据。遥操作系统的直观性和易用性对于确保高质量、多样化和可扩展的数据至关重要。本文介绍了一种结合 VR 设备和机器人控制的沉浸式远程操作系统 OpenTeleVision，该系统是一个适用于不同VR设备和机器人、机械臂的通用远程操控框架。它支持包括 Unitree H1 和 Fourier GR1 等不同的人形机器人，用于完成复杂的双手操作任务，并支持远程的跨区域操控。

核心原理是通过VR设备让操作者实时控制机器人，并提供直观的环境感知。系统使用机器人头部的主动立体相机，模仿人类头部的运动，实时捕捉和传输机器人视角下的三维画面到操作者的VR设备中。这样，操作者可以从第一视角感知机器人周围环境，仿佛自己化身为机器人进行操作。通过捕捉操作者的手部、头部等姿态，系统将这些姿态重新映射到机器人上，结合逆运动学算法，精准控制机器人的手臂和抓手。这种方式不仅能让操作者更直观地完成复杂的操作，还能提升操作的精度和效率。

图1 遥操作数据收集和学习设置

左图：我们的远程操作系统。VR设备将手、头部和手腕姿态流传输到服务器，服务器将人类的姿态重新映射到机器人，并将关节位置目标发送给机器人。右图：我们使用ACT为每个任务训练模仿策略。Transformer编码器捕捉图像和本体感知信息之间的关系，Transformer解码器则输出一定分块大小的动作序列。

图2 Open-TeleVision 在两种硬件上的参考设计

如图2所示，Open-TeleVision支持的两款人形机器人均带有两个7DoF手臂，使用ZED Mini立体相机来提供立体RGB流。左图为Unitree H1 ，带有6DoF Inspire手。头部包含偏航和俯仰电机。右图为Fourier GR1，带有1DoF钳口，主动颈部由制造商提供，带有偏航横滚和俯仰电机。

OpenTeleVision在手臂控制方面首先将人类手腕姿势转换为机器人的坐标系。

①采用基于Pinocchio的闭环逆向运动学 (CLIK) 算法来计算机器人手臂的关节角度。

②使用SE(3)组滤波器对输入末端执行器姿势进行平滑处理，并通过 Pinocchio的SE(3)插值实现，从而增强了 IK 算法的稳定性。

③为了进一步降低 IK 失败的风险，当手臂的可操纵性接近其极限时，实现结合了关节角度偏移。该校正过程对末端执行器跟踪性能的影响最小，因为偏移量被投影到机器人手臂雅可比矩阵的零空间上，从而在解决约束的同时保持跟踪精度。

OpenTeleVision在手部控制方面

通过dex-retargeting库将人手关键点转换为机器人关节角度命令。该方法使用向量优化器来解决运动重定向问题，优化目标是最小化人手和机器人手关键点向量之间的差异，同时保持连续步骤之间的一致性。对于灵巧手，优化涉及七个向量来同步手腕和指尖的位置，而对于夹持器，则使用一个定义在拇指和食指之间的单一向量。优化使用 Sequential Least-Squares Quadratic Programming (SLSQP) 算法进行实时计算。

在实验方面我们选择了四个重点关注精度、泛化性和长时间操作的任务，来展示我们提出的遥操作系统的有效性。分别是Can Sorting、Can Insertion、Folding、Unloading。