如果你经常关注机器人学习，会发现一个很有意思的现象：

模型越来越强，数据越来越大，视频里机器人也越来越“像那么回事”。 但真要问一句：这些机器人策略到底谁更强？强在哪里？换个物体、换个位置、换个场景还能不能干活？

答案往往没那么清楚。

因为很多时候，大家不是在同一张桌子、同一套机器人、同一批物体、同一套评测规则下比较。 一个模型看起来成功率高，可能是模型确实厉害，也可能是任务简单一点、相机位置舒服一点、物体摆得友好一点、人工复位更稳定一点。

这就是 UMI-Bench 1.0 想解决的问题。

这篇论文提出了一个面向真实机器人操作的开放基准：UMI-Bench 1.0: An Open and Reproducible Real-World Benchmark for Tabletop Robotic Manipulation with UMI Data。它的目标不是再堆一个炫酷任务集，而是搭建一个更像“统一考场”的评测体系，让基于 UMI 数据训练出来的机器人操作策略，可以在真实物理环境里被更公平、更可复现地比较。

简单说，UMI-Bench 1.0 关心的不是“机器人能不能在视频里完成一次任务”，而是：

在统一的数据采集、统一的场景复位、统一的执行接口、统一的日志记录和统一的评分规则下，一个机器人策略到底能做到什么程度。

一、为什么机器人评测需要 UMI-Bench？

过去几年，机器人领域有两个趋势非常明显。

一边是大模型进入机器人控制。VLA 模型、通用机器人策略、世界模型动作策略不断出现，比如 π0、π0.5、DreamZero 这类方法，都在尝试让机器人具备更强的泛化能力。

另一边是真实世界数据采集变得越来越重要。相比仿真数据，真实机器人操作数据包含了更多真实接触、摩擦、遮挡、抖动、延迟和传感器噪声。对于桌面操作任务来说，这些细节经常决定一次操作是成功还是失败。

但问题也随之出现： 真实机器人评测很难标准化。

仿真里可以精确控制初始状态、物体位置、成功条件；真实世界里却会遇到很多“不好管”的因素。比如：

• 同样是抓取杯子，物体初始角度可能差几度；

• 同样是插入任务，目标槽位可能偏了一点；

• 同样是双臂协作，左右臂动作的节奏可能稍微不同；

• 同样是腕部相机，安装角度、光照、画面遮挡都会影响策略输入。

如果没有一套统一协议，模型之间的比较就容易变成“各测各的”。

二、UMI-Bench 到底评什么？

UMI-Bench 1.0 聚焦的是桌面机器人操作任务。第一版一共设计了 10 个真实世界任务，其中包括：

• 4 个单臂任务；

• 6 个双臂任务；

• 约 2 万条真实示教数据；

• 每个任务 50 次真实机器人评测；

• 总计 1500 次真实世界 rollout；

• 对 π0、π0.5 和 DreamZero 三类模型进行了统一评测。

这不是一个只看“成功/失败”的榜单。它更想回答几个具体问题：

第一，模型在真实机器人上整体表现如何？ 第二，不同任务会暴露哪些能力短板？ 第三，换物体、换外观、换位置、换布局后，模型性能会掉多少？ 第四，UMI 数据采集和真机部署之间，哪些环节会影响最终表现？

这几个问题放在一起，UMI-Bench 就不只是一个任务集合，而是一套从数据到评测的完整协议。

三、UMI 风格数据为什么特殊？

要理解 UMI-Bench，先要理解 UMI 数据的特殊性。

UMI，全称是 Universal Manipulation Interface。它的核心思想是用一种面向部署的方式采集机器人操作数据。和传统机器人示教不同，UMI 风格数据非常强调几个东西之间的耦合关系：

• 腕部相机看到什么；

• 机器人的动作如何表示；

• 示教数据如何采集；

• 场景如何复位；

• 策略如何在真实机器人上执行。

也就是说，UMI 数据不是单纯的“视频 + 动作”文件。它背后隐含着一套从观察到动作、从采集到部署的完整接口。

这也是为什么普通机器人评测基准不一定适合 UMI 策略。 如果评测时相机视角变了、动作接口变了、场景复位方式变了，最后测出来的性能变化，就很难说是模型能力的问题，还是评测流程本身的问题。

UMI-Bench 的做法是把这些环节全部纳入统一协议：数据怎么采、场景怎么摆、模型怎么跑、结果怎么记、分数怎么算，都要标准化。

四、从数据采集到真机评测：UMI-Bench 的完整流程

UMI-Bench 1.0 的流程可以拆成五个部分。

1. 标准化数据采集

论文中使用 FastUMI Pro 作为数据采集工具链，记录腕部 RGB 视频、轨迹、机器人状态、夹爪状态、时间戳和任务元信息。

每条示教数据不是简单地录下来就完事。系统还会经过质量检查，比如视频是否可读、时间戳是否连续、数据有没有缺失、任务是否真的完成、动作是否出现异常跳变。

这样做的好处是，后续训练模型时，研究者能够知道每条数据来自什么任务、什么物体、什么场景、什么复位状态，而不是面对一个来源不清的数据黑箱。

2. 结构化元数据

UMI-Bench 为每个 episode 保存结构化 scene JSON。里面会记录任务 ID、物体 ID、类别、外观、材料、位置、姿态、目标区域和数据划分。

这一步非常关键。

因为只有把场景信息结构化记录下来，后面才可以分析： 模型是因为没见过这个物体失败，还是因为位置变化失败？ 是颜色变化影响大，还是空间布局变化影响大？ 是单臂任务弱，还是双臂协作弱？

没有这些元数据，失败分析只能停留在“看起来不太行”。

3. 统一任务套件

UMI-Bench 第一版包含 10 个桌面操作任务，覆盖了多种常见机器人能力：

任务编号	任务名称	类型	核心能力
T1	顺序物体堆叠	单臂	空间对齐
T2	带盖容器操作	单臂	铰接物体操作
T3	工具辅助盖章	单臂	工具接触
T4	精密槽位插入	单臂	精细插入
T5	双臂物料倾倒	双臂	双臂协调
T6	双臂打包与搬运	双臂	协作运输
T7	动态抓取放置	双臂	动态抓取
T8	类别分拣放置	双臂	语义匹配
T9	长程重排任务	双臂	长程规划
T10	柔性物体折叠	双臂	柔性操作

这个任务设计有一个明显特点： 它不是只测试简单 pick-and-place，而是故意加入了很多真实机器人容易翻车的环节。

比如 T3 的盖章任务需要工具接触；T4 的遥控器插槽任务需要精细定位；T5 的倾倒任务需要双臂协调；T7 有旋转平台，考验动态抓取；T10 是折裤子，涉及柔性物体操作。

这些任务放在一起，能更全面地暴露当前机器人策略在真实环境中的短板。

4. 统一评测执行

UMI-Bench 使用真实机器人工作站进行评测。策略输入主要来自腕部 RGB 相机，第三视角视频可以用于调试和可视化，但不作为策略输入。

每次 rollout 都会记录：

• 腕部相机视频；

• 机器人状态；

• 动作日志；

• 运行时间信息；

• 场景 JSON；

• 轨迹记录；

• 最终评分结果。

这样，一个评测结果不是孤立的数字，而是一套可以被审计、复查和分析的记录包。

5. 统一评分指标

UMI-Bench 主要报告两个指标：

Full Success Rate，完整成功率。也就是任务是否完全达到最终成功条件。

Progress Score，进度分数。这是 0 到 100 的部分完成度评分。它比单纯成功率更细，因为很多机器人任务不是非黑即白。比如一个双臂打包任务，模型可能完成了抓取、放置和部分搬运，但最后没有完全到达目标位置。只看成功率会把它归为失败，而 Progress Score 能保留中间过程的信息。

这一点很适合真实机器人评测。 因为真实操作里，失败也有层次。一个模型完全没摸到物体，和一个模型差一点完成任务，显然不是同一种失败。

五、UMI-Bench 最重要的设计：把“泛化失败”拆开看

很多机器人论文都会说模型有泛化能力。 但泛化到底指什么？

是没见过的物体？ 没见过的颜色？ 没见过的摆放位置？ 没见过的运动速度？ 还是多个变化同时出现？

UMI-Bench 把这个问题拆成了两个因素：

Factor A：物体、外观、类别或组合变化。比如换一种颜色的篮子、换一种垃圾袋、换一种麻将牌组合、换一种裤子外观。

Factor B：位置、布局、姿态或动态变化。比如换摆放位置、换目标区域、换转盘速度、换初始姿态。

这样每个任务就可以形成四种评测条件：

1. Seen / Seen：物体见过，位置也见过；

2. Seen / Unseen：物体见过，位置没见过；

3. Unseen / Seen：物体没见过，位置见过；

4. Unseen / Unseen：物体和位置都没见过。

这套设计非常实用。 因为它能把模型掉分的原因拆开，而不是只给一个平均分。

如果模型在 Factor A 下掉分明显，说明它对物体、外观或类别变化比较敏感。 如果模型在 Factor B 下掉分明显，说明它对空间位置、布局或动态变化更敏感。 如果 A+B 一起变化时掉得最多，就说明模型面对组合分布外情况仍然不稳定。

六、真实评测结果：π0.5 总体最好，但空间变化仍是硬伤

论文评测了三个模型：π0、π0.5 和 DreamZero。

从总体结果看，π0.5 表现最好。 在 10 个任务平均 Progress Score 上：

• π0：48.90；

• π0.5：55.84；

• DreamZero：40.59。

π0.5 的优势不是只来自某一个任务，而是比较全面。它在 10 个任务中的 6 个任务上排名第一，覆盖了单臂和双臂场景。

不过结果也不是 π0.5 全面碾压。 π0 在 T1 顺序堆叠和 T2 容器操作这两个单臂任务上表现最好。DreamZero 在 T3 工具盖章和 T6 双臂打包搬运上也有竞争力。

这说明不同模型的能力结构并不一样。 有的模型更擅长空间对齐，有的模型在工具接触上更稳，有的模型在双臂协作中表现更好。

但真正值得注意的是泛化结果。

论文中提到，所有模型在 Factor B 上的性能下降都比 Factor A 更明显。也就是说，相比换物体、换颜色、换类别，当前策略更怕的是：

• 位置变了；

• 布局变了；

• 姿态变了；

• 动态条件变了。

平均来看，Seen/Seen 条件下的分数是 59.62； Factor A shift 下变成 53.45； Factor B shift 下掉到 45.33； A+B 同时变化时进一步降到 40.19。

这个结果很有启发。

它说明当前模型并不是完全不会认新物体，而是很大程度上依赖训练数据中见过的运动轨迹和空间先验。换句话说，模型可能学到了一些“这个任务通常在这个位置这样做”的经验，但一旦几何关系、目标位置或动态条件变了，执行就不稳了。

七、哪些任务最难？

从结果看，T3 和 T9 是明显的难点。

T3 是工具辅助盖章任务。它要求机器人先使用印章和印台，再把印章准确盖到纸上。这类任务的难点在于工具接触。机器人不仅要抓住工具，还要理解工具和目标之间的接触关系。

T9 是长程重排任务。它涉及多个物体、多个阶段和目标位置安排。对机器人来说，这不是完成一次抓取放置就结束，而是要保持较长的任务进度和顺序稳定性。

论文中所有模型在 T3 和 T9 上的完整成功率都是 0%。 这并不意味着模型完全不会动，而是说明它们很难稳定达到完整任务标准。

这个结果也提醒我们： 当前真实机器人策略在短程任务上已经有一定能力，但在工具使用、长程规划、精确终态控制上还有明显距离。

特别是长程任务，前面一步小失误，后面可能会不断放大。 而真实机器人又不像文字推理，出错了可以撤回重写。一个物体放歪、一个杯子碰倒、一个夹爪松早了，后面的任务状态就已经变了。

八、双臂任务为什么重要？

UMI-Bench 的另一个亮点是加入了 6 个双臂任务。

很多桌面机器人基准主要围绕单臂操作展开，比如抓取、放置、插入、开合等。但真实家庭、工厂和服务场景里，很多任务天然需要双手协作。

比如：

• 一只手固定容器，另一只手倒豆子；

• 一只手扶住篮子，另一只手放入物体；

• 两只手共同搬运；

• 一只手调整柔性物体，另一只手完成折叠；

• 两只手处理多个目标和多个物体。

这些能力很难通过单臂 pick-and-place 完全测出来。

UMI-Bench 中的双臂任务让评测更接近真实操作。 它不仅考察抓取成功率，也考察左右手分工、动作同步、物体稳定性、接触过程和多阶段执行。

这对未来通用机器人策略很重要。 因为真正能进入现实环境的机器人，不应该只会“夹起一个东西放到另一个地方”，还要能处理复杂、连续、需要协调的操作任务。

九、UMI-Bench 的价值不只是一张排行榜

UMI-Bench 1.0 最有价值的地方，不只是告诉我们哪个模型分数高。

它更像是提供了一套“拆解失败”的工具。

过去真实机器人实验经常会遇到一个问题： 模型失败了，但不知道为什么失败。

可能是数据不够。 可能是物体没见过。 可能是位置没覆盖。 可能是相机视角不稳定。 可能是动作空间设计不合适。 也可能只是人工复位不一致。

UMI-Bench 把数据采集、场景元数据、评测 episode、日志记录和人工评分连在一起，让研究者可以沿着完整链路追踪问题。

比如一个模型在 T7 动态抓取任务上表现差，研究者可以进一步看： 是对新颜色罐子失败，还是对转盘速度变化失败？ 是抓取阶段失败，还是放置阶段失败？ 是所有位置都失败，还是某些布局格子特别差？

这比单纯说“成功率 20%”有用得多。

对模型开发者来说，这意味着可以更有针对性地补数据、改动作表示、调整训练策略。 对基准使用者来说，这意味着不同实验室之间的真机结果更容易比较。 对整个领域来说，这意味着机器人评测可以从“看视频感觉很强”逐渐走向“有协议、有记录、有诊断”。

十、这篇文章给我们的启发

UMI-Bench 1.0 反映出机器人学习领域正在发生一个变化：

大家不再只关心模型在 demo 里是否好看，也开始关心模型是否能经得起真实环境的标准化检验。

尤其是对 UMI 风格数据来说，数据采集和真实部署不是两个割裂环节。腕部相机、动作块、场景复位、物体布局、评测日志，这些都会影响最终结果。

所以，一个好的真实机器人 benchmark，不能只是列几个任务。 它还要回答：

• 数据从哪里来；

• 任务如何复位；

• 模型输入是什么；

• 动作怎么执行；

• 失败怎么记录；

• 成功怎么判定；

• 泛化怎么拆解。

UMI-Bench 1.0 的贡献就在于，它把这些环节放进同一个框架里。

当然，它也不是终点。

论文中也承认，当前版本还主要集中在桌面操作任务，没有覆盖移动操作、大范围空间任务和更复杂的长程场景。数据规模虽然已经达到约 2 万条示教，但和更大规模机器人数据集相比仍然有限。真实评测也仍然会受到人工复位、标定漂移、光照变化和硬件时序等因素影响。

但作为第一版，UMI-Bench 已经给出了一个非常清晰的方向：

未来机器人模型的进步，不只需要更大的数据和更强的网络，也需要更可靠、更透明、更可复现的真实世界评测体系。

当机器人终于有了“统一考场”，我们才能更认真地讨论： 到底谁真的会干活，谁只是看起来会干活。

论文信息

论文标题： UMI-Bench 1.0: An Open and Reproducible Real-World Benchmark for Tabletop Robotic Manipulation with UMI Data

作者： Shi Jin、Yuntian Wang、Yuhui Duan、Di Wu、Gaoqi Dong、Xiaohang Liu、Xiaotong Li、Hongfei Jia、Zehao Zhang、Tianyu Wang、Zhongjie Jia、Yuanqi Yao、Chenjia Bai、Zhaxizhuoma、Siao Liu、Nieqing Cao、Jin Wang、Chao Yu、Yan Ding

作者单位： 苏州大学、Lumos Robotics、复旦大学、上海交通大学、上海 TeleAI、上海人工智能实验室、INSAIT、西交利物浦大学

项目主页： https://umibenchmark.github.io/