编程智能体指挥机器人,该怎么考?1156个任务、三种考法,把失败定位到每一步

栏目:互联网 | 来源:机器之心Pro | 2026-11-22 18:41

让编程智能体控制机器人,该怎么考?EFE 的答案是:只规定结果,不规定做法;同一道题最多分三种模式考;不只打分,还要找出失败的原因。

考编程智能体,难在它没有固定的做法。训练好的机器人策略只做一件事:把画面和传感器读数变成动作。编程智能体却可以直接操控机器人、编写控制程序,或者先训练一个策略再上场。

要公平地考这样的智能体,题目、条件和评分都要重新设计。为此,来自西北大学、卡内基梅隆大学等 8 所高校的团队搭建了Embodied First Exam(EFE,具身第一考),用同一套框架考各种编程智能体控制仿真机器人的能力。这项工作有四项贡献:三条设计原则,加上系统分析。

  1. 题目要多样,不止抓取放置。共 1156 个任务、35 个任务集、47 款机器人。
  2. 量出成功率如何随物理约束变化。每个任务最多三种模式,分别改变智能体能看到的信息、能否重置、环境是否等待。
  3. 为不同模型、智能体框架和控制方式提供统一的基础设施。一条命令即可运行,换模型、换框架只需改两个参数;智能体可以直接控制、编写程序或训练策略(图 1)。
  4. 不只打分,还要找出原因。用对照实验拆开不同条件的影响;把任务拆成阶段,定位每次失败发生在哪一步。

图 1|统一框架:支持不同的模型与智能体框架、控制方式和仿真器;评测分特权、标准、实时三种模式

  • 论文标题:Embodied First Exam
  • 论文链接:https://arxiv.org/abs/2611.12177
  • 项目主页与榜单(最新结果以网站为准):https://www.embodied-first-exam.ai
  • 代码:https://github.com/mll-lab-nu/embodied-first-exam

一、考什么:

不止抓取放置

改编自已有基准的 745 个任务中,有 618 个使用单臂、双臂或移动机械臂。为补上其他机器人和能力,团队新建了 9 个任务集,分为三组:

  • 需要持续接触的精细操作(RoboARC、DexHandExam、RoboPaint):可变形物体、多零件装配和工具使用。
  • 移动的物体与对手(RoboDynamicExam 和两个 Embodied Olympics 任务集):要在正确的时机出手;考试中的人形机器人任务大多在这里,例如下面视频中的扣球。
  • 超出「执行给定目标」的能力(iSpatialGym、Embodied Safety Exam、RoboEngineer):自己理解目标、判断请求是否安全、让控制器适应陌生的动力学。

视频链接:https://mp.weixin.qq.com/s/bU4E00ZyiUQRTHGT6zklyA

人形机器人扣球过网(Embodied Olympics - Fun):GPT-6 Astra,特权模式

团队从全部 1156 个任务中选出 456 个高难度任务作为核心集,评测了 10 个编程智能体。各任务集的难度差别很大(以下只统计至少有 5 项测试的任务集):按五个强智能体(Claude Fable 5.2、GPT-6 Astra、GPT-6.1 Sol、Claude Opus 5.5、Gemini 4 Argon)的平均成功率,特权模式下有 12 个任务集达到 70%以上,标准模式下只有 1 个。再数五个强智能体都没有解出的测试:标准模式下,22 个任务集里有 7 个占到至少一半;特权模式下,20 个任务集里只有 HumanoidBench 一个(图2)。

图 2|各任务集的成功率:圆点是五个强智能体各自的成功率,条形是它们都没有解出的测试比例,黑色表示至少一半

图 3 把核心集标准模式和特权模式上的尝试逐一展开:每列是一项测试,先按 Claude Fable 5.2 是否解出分成两部分,每部分内按解出它的智能体个数排列;灰到黑的格为解出,颜色越深,这次尝试花费越高。

图 3|核心集上的每一次尝试(不含实时模式):上为标准模式,下为特权模式;行是智能体,列是测试

从 10 个智能体都解出,到无人解出,每一档都有测试:难度是连续分布的,考卷能把智能体分出高低:标准模式下,最强的 Claude Fable 5.2 解出一半,最弱的几个不到 7%。较弱的智能体也几乎解不出强者解不出的题:五个较弱智能体在标准模式下只比强智能体多解出 1 项测试,在特权模式下一项也没有多解出。

核心集排除了团队判断为简单的任务,以及初筛模型 GPT-6 Luna 已解出的任务。GPT-6 Luna与GPT-6 Astra、GPT-6.1 Sol 同属一个系列,这种筛选可能对该系列不利。按任务图(见第四节)中的阶段类别给核心集任务分组(图 4),最多的是放置、组装等物体关系类(Relation);含动态、身体或竞技类阶段(Dynamic、Body、Competition)的任务共 99 个,其中 86 个来自新建的任务集。

图 4|核心集任务按任务图中的阶段类别分组,每组配例图:每个点是一组中的一个任务,一个任务属于几组就占几个点,共覆盖有任务图的427个任务;黑点来自新建的任务集,灰点来自改编的任务集

题目定了,在什么条件下考?

二、在什么条件下考:

同一道题,逐级收紧条件

同一个任务在不同模式下,初始场景、成功标准和时限都相同。不同之处如下:

比较同一任务在不同模式下的成绩,就能看出收紧这些条件的影响。例如连续头球十次(图 5):特权模式下有 6 个智能体顶满十次;标准模式下只能从相机画面里看球,10 个智能体全部失败。

图 5|连续头球十次(Embodied Olympics - Fun):每个智能体两行,S 为标准模式,P 为特权模式,每列对应一次头球;特权模式下 6 个智能体完成,标准模式下全部失败

把任务拆成阶段(方法见第四节),逐阶段比较特权和标准两种模式的失败率(到达该阶段的尝试中失败的比例),精细阶段比粗略阶段受影响大得多。在至少两个任务集中都出现的阶段类型里,组装、对准位姿、接触移动物体等精细阶段,换到标准模式后失败率上升 19 至 51 个百分点;放置、抓取等粗略阶段,9 类中有 7 类只上升 3 至 18 个百分点(图 6 中)。例如,组装的失败率从 25% 升到 76%,放置从 18% 升到 31%。分开考,才看得出收紧条件影响的是哪一类动作。

图 6|左:GPT-6 Astra 逐项补回特权能力后的成功率(见第四节);中:各阶段类型在特权和标准模式下的失败率;右:GPT-6 Astra 基线运行中失败的测试,按失败阶段分为精细(黑)和粗略(灰),各条件下解出的比例

条件定了,用什么平台考?

三、用什么考:

只限定结果,不限定做法

EFE 只固定三件事:从哪里开始、给多少资源、怎么判定成功。

  • 统一打包。每个任务按 Harbor(Terminal-Bench 使用的评测框架)的格式打包;开考只要一条命令,换模型或智能体框架,改两个参数即可。智能体在自己的容器中可以安装软件包、编写和运行程序、训练模型。
  • 独立评分。评分程序在智能体的容器之外运行,智能体无法修改评分结果。
  • 去掉已知答案。改编任务保留原基准的场景、机器人和成功标准(部分任务集的成功标准更严),但删除原基准的专家策略和演示数据。
  • 资源上限。每个任务都限定时间、token、CPU、内存和磁盘,需要 GPU 的任务还限定显存。时限的中位数是 1 小时,范围从 30 分钟到 4 小时。

在这个框架内,控制方式由智能体自己选,不同模式下的选择差别很大。在两次随机抽样合计 1760 次尝试中(不含Claude Fable 5.2和Kimi 3.1 Pro),标准模式下 63%为直接控制,每发一段动作就看一次图像和传感器;特权模式下 79%编写程序计算动作;实时模式下 97%编写程序,其中多数由程序自己读取传感器、计算动作,形成闭环控制(图 7 左)。只有 7 次训练了策略。做法也取决于给的资源:足球任务提供 GPU 和训练库的版本中,28 项测试有 25 项训练了策略(图 7 右)。

图 7|左:三种模式下控制方式的占比;右:足球任务的标准和实时模式中,训练了策略、进球、获胜的测试数,黑为有 GPU 和训练库,灰为只有 CPU

框架可以替换,也就能量出框架本身的影响。差别最大的是 GPT-6 Astra:在 Codex 中解出 34%的标准模式核心测试,在 Claude Code 中只有 27%;Claude Opus 5.5 在两个框架中成绩相近。所以 EFE 的榜单按「模型+智能体框架」列出成绩。

考完只知道成败。要改进智能体,还得知道失败的原因。

四、系统分析:

不只打分,还要找出原因

EFE 用两种方法找原因:用对照实验拆开不同条件的影响,再把任务拆成阶段,定位每次失败。

对照实验:逐项补回能力

特权模式比标准模式多出的能力中,有两种是所有物体的精确状态和不限次重置。它们各起多大作用?团队在标准模式的接口上为 GPT-6 Astra 逐项补回,每种条件运行一次(图 6 左)。

补回能力后重新运行,本身也是再考一次,有些失败再试一次就会成功。为排除这一点,团队另设一组对照:什么能力都不补,只是不再告诉智能体是否成功,大致相当于再考一次。

在它的基线运行中败在精细阶段的 91 项测试上(图 6 右):对照解出 19%;补上精确状态解出 21%,与对照相当;补上不限次重置解出 36%,几乎都是在重置或恢复存档之后成功的。对精细阶段而言,看得准还不够,要能反复试。

失败定位:把任务拆成阶段

评分程序只判断一次尝试是否成功,不说明哪里出错。EFE 因此为 427 个核心任务各写一张任务图:每个节点是任务要求的一项环境变化,例如「冰箱门打开」;连线给出完成的先后顺序;每个阶段标明类型(如「打开」「放置」)和需要的接触(图 8 左)。

图 8|左:任务图示例,搬运杂货(BEHAVIOR-1K),含阶段、顺序、类型和接触;右:三次尝试中各阶段随时间的完成情况,红线标出失败阶段

每次失败尝试最多记一个失败阶段:发生了摔倒等无法挽回的事件,就记该事件所在的阶段;否则记智能体最早犯下且没有纠正的错误所在的阶段。例如在图8的搬运杂货任务中,Claude Opus 5.5在搬运牛奶时摔倒,失败阶段是第4阶段,失败现象是失去平衡。把一个任务上各智能体的失败阶段放在一起,就能看出谁停在哪一步。以穿绳为例(图9),绳子要依次穿过孔、环、孔、环、孔共5处:标准模式下只有Claude Opus 5.5完成;Claude Fable 5.2、GPT-6 Astra和Gemini 4 Argon都停在第二个环,五个较弱的智能体中有四个没能穿过第一个孔。

图 9|穿绳(RoboARC,标准模式):绳子要依次穿过孔、环、孔、环、孔,共 5 个阶段;各智能体到达的阶段与失败阶段,以及失败时的画面

任务图和标注都由编程智能体完成:GPT-6.1 Sol(Codex)写了全部任务图,并标注了大部分尝试,包括 Claude Fable 5.2 和它自己的全部尝试;Claude Sonnet 5.5(Claude Code)标注其余尝试,并复核全部标注。标注覆盖 427 个任务、857 项测试中的 8480 次尝试,其中失败 6027 次。

有了阶段,就能看出难点卡在哪一步。团队统计了 192 项标准模式测试(每项至少有三个阶段,且至少有四次失败能定位到阶段):其中 51 项(约四分之一),八成以上的失败落在同一个阶段,连续接球两次就是一例(图10)。

图 10|连续接球两次(RoboDynamicExam):各智能体到达的阶段与失败阶段,以及标准模式下三次失败的回放画面

在这个任务中,机器人要用杯子接住抛来的球,倒进滑槽,等球沿坡道滚下、反弹后再接一次,最后倒进移动的小车。标准模式下十个智能体全部失败。Claude Fable 5.2 走得最远:两次都接住了,最后倒向移动的小车时,球落在了车旁。其余九个中有八个接住了第一个球,又都在第二次接球时失败,原因各不相同:有的在倒球或移动空杯时碰到了滑槽或坡道;有的在调整杯子迎接反弹的球时,机械臂碰到了场景;有的球一直没倒出杯子;有的杯子还没放低,球就来了。Claude Opus 5.5 在自己的报告中估算过:球离开杯子后只有约 1.3 至 1.6 秒可以接,而倒完球把杯子摆正就要约 1.4 秒。

局限

这套考法仍有局限:每项测试只考一次,在只有五六项测试的任务集中,一项测试就能让成功率变化 17 至 20 个百分点;标注大部分尝试的 GPT-6.1 Sol 本身也是受测智能体,标注了自己的尝试,且与 GPT-6 Astra 同属一个系列;GPT-6.1 Sol 的三次运行显示,同一个智能体再考一次,解出的测试会有很大变化。团队计划重复运行核心测试,给出置信区间。

作者名单见论文。

了解更多

猜你想看

← 返回首页