上海人工智能实验室推出的TeleOpBench为双臂灵巧遥操作提供了一个以模拟器为中心的基准测试平台，对四种遥操作流程进行了并行对比。在评估中，采用Xsens Link和Xsens Metagloves by Manus的动作捕捉方案在最短时间内实现了最高的任务精度。
挑战：遥操作工具很难进行公平的比较，由于硬件、操作员和任务设置各不相同，因此很难界定哪种技术方案能在双臂灵巧作业中提供结合速度与精度的最佳效果。
解决方案：上海人工智能实验室的团队在NVIDIA Isaac Sim平台上构建了TeleOpBench，在统一的协议和评估指标体系下，在三台商用机器人（Unitree Robotics H1-2、Fourier GR1-T2、Unitree G1）上运行了30项操作任务，随后在用户研究中以及在实体双臂机器人上复现了其中具有代表性的一组子任务。
主要成果
- 一个基准测试，四种技术路径对比：动作捕捉（Xsens Link和Manus手套）、虚拟现实、外骨骼、单目视觉
- 在评估报告中，动作捕捉技术实现了最高的任务精度和最短的完成时间
- 该基准测试方案在不同任务、操作员和机器人平台间具有可重复性，旨在为更可靠的遥操作决策提供支持
在为具身机器人学习构建双臂操作时，遥操作通常是获得高质量演示的最快途径。难点不仅在于收集数据，还在于选择一个值得信赖的遥操作接口，并客观地比较各种方案。
TeleOpBench正是通过引入一个以模拟器为核心的双臂灵巧遥操作基准测试来填补这一空白，该基准测试旨在实现对不同遥操作方案进行严格且可重复的比较。
在为具身机器人学习构建双臂操作时，遥操作通常是获得高质量演示的最快途径。难点不仅在于收集数据，还在于选择一个值得信赖的遥操作接口，并客观地比较各种方案。
TeleOpBench正是通过引入一个以模拟器为核心的双臂灵巧遥操作基准测试来填补这一空白，该基准测试旨在实现对不同遥操作方案进行严格且可重复的比较。
TeleOpBench测量的内容及其重要性
在现实中比较遥操作系统是一项复杂的任务。硬件差异、环境设置以及任务的多样性很容易对结果产生决定性影响。TeleOpBench利用NVIDIA Isaac Sim来固定环境和机器人形态，随后采用一致的成功标准对遥操作接口进行评估，其中任务成功率和完成时间是主要评估指标。
为了验证模拟器结果是否确实具有实际应用价值，操作员在物理双臂平台上进行了对应的实验，并报告称模拟结果与实际实验结果高度一致。
基准测试设置简述
机器人：三款市售人形机器人，涵盖不同尺寸和手部设计：Unitree H1-2、Fourier GR1-T2和Unitree G1
任务：30个双臂操作环境，涵盖拾取放置、使用工具和协作操作，按复杂程度排序，以便对低保真度和高保真度接口进行有意义的比较。
接口：四个基于同一协议实现的代表性方案：
- 动作捕捉（Xsens Link和Manus手套）
- VR设备
- 手臂和手部外骨骼
- 单目视觉追踪
评估方案：从完整任务集中，TeleOpBench选取了10个具有代表性的任务，用于一项由4名参与者进行的用户研究，并记录了成功率和完成时间。
四种遥操作方案
TeleOpBench的价值在于它使操作空间变得可感知。
- 视觉追踪技术降低了硬件要求，但容易受到遮挡和帧率限制的影响。
- 与单目视觉相比，虚拟现实（VR）能提高手腕和手部的追踪精度，其性能通常介于视觉追踪与更高精度的系统之间。
- 外骨骼具备运动学对齐和直接映射的优势，但根据具体设计不同，其活动范围也存在局限。
- 惯性运动捕捉技术专注于精确捕捉身体各部位的运动，并将其稳健地映射到机器人上。
Xsens Link和Manus手套如何脱颖而出
TeleOpBench的动作捕捉流程基于Xsens Links和Manus手套构建。
- Xsens Links通过安装在人体各部位的17个惯性测量单元（IMU）来追踪肢体运动。
- Xsens Metagloves by Manus每只手提供20个自由度，可捕捉手指关节的精细动作。
评估结果
在各项评估结果中，报告强调了基于Xsens的方法在平滑度和运动精度方面表现优异，能够准确完成任务，且通常耗时最短。
TeleOpBench还指出，在绘制完成时间曲线时，惯性动作捕捉管道的速度最快，且模拟性能与实际性能之间存在显著的正相关关系。
对于机器人研发团队的意义
如果您正在选择一套远程操作方案来扩大演示数据集的规模，TeleOpBench提供了一种切实可行的方法来权衡各项取舍。
- 生产量：更快的完成时间意味着每位操作员每小时能处理更多的演示。
- 可靠性：更高的成功率可以减少数据集构建过程中的无效运行次数和清理时间。
