
用螺丝刀拧紧螺丝,听起来并不复杂。
但真正动手时,往往还要挪一点、转一点、退出来,再重新对齐。换成遥操作机器人采集数据,这个过程只会更考验耐心。即使是 “大国工匠” 般熟练的数采员,面对精细度要求极高的任务,也未必能一次交出从头到尾都足够丝滑的示范。一条最终成功的轨迹里,可能包含多次无效调整;一条最终因超时或碰撞而失败的尝试中,却也可能有几步对齐做得很好。
这给视觉语言动作模型的后训练提出了一个问题:如果数采员自己都很难采出一条近乎完美的轨迹,机器人应该向什么样的经验学习?
浙江大学沈春华团队联合中国电信人工智能研究院(TeleAI)& 伽马智能白辰甲团队,围绕这个问题提出了Graph-Reweighted Behavior Cloning(GR-BC)。
团队考虑的是另一种可能:一条更好的成功路径,未必完整存在于某一次示范中,却可能隐藏在多次尝试之间的连接关系里。把这些经验放进同一张图,能否先在图的 “脑海” 里找到一条更好的路,再由图担任裁判,指导机器人学习值得模仿的动作?
目前,该工作已被 CORL 2026 接收,论文与代码已公开。

- 论文标题:Graph-Reweighted Behavior Cloning with Human Interventions for Precise Robotic Manipulation
- 论文链接:https://arxiv.org/pdf/2610.20504
- 项目主页:https://gr-bc.github.io
- 代码链接:https://github.com/Gamma-Robot/GR-BC

视频链接:https://mp.weixin.qq.com/s/P94V9SbLXk4G7QhWGowP1A
核心方法:用图检索进度,再为动作加权

图 1|GR-BC:构图、反向搜索、加权训练与新轨迹回流。
第一步:把分散经验连接起来
要评判一个动作好不好,首先需要知道,机器人当前距离任务完成还有多远。团队观察发现:精细任务中的进度,具有很强的任务内相对性。把同一任务的多次尝试放在一起,利用它们之间的联系,可以为进度判断提供更具体的依据。
GR-BC 使用冻结的 MCR(manipulation-centric representation)视觉编码器提取三个相机视角的表征,与夹抓状态结合,共同编码图中节点。
边有两种。时间边连接同一轨迹上按固定间隔抽样的相邻的节点,代价等于跨越的帧数,因此图上的距离天然对应真实的物理时间。
相似边则负责把独立的轨迹桥接起来,需要同时满足三个条件:在每个相机视角中互为 K 近邻、夹爪状态一致、以及按局部尺度归一化后的距离小于阈值。归一化用的局部尺度,是该节点相邻一次转移的视觉距离,这让阈值在不同任务、不同视角下保持一致的物理含义。

图 2|多视角状态表征、夹爪状态与跨轨迹连边。
第二步:从成功终点反向搜索
GR-BC 借鉴强化学习中的 cost-to-go 和图搜索思想,将进度转化为:从当前状态出发,沿着已有数据支持的路径,到成功还需要多少步?图构建完成后,算法从成功终点出发,使用反向 Dijkstra 搜索,计算各状态到成功的最小图路径代价记为剩余步数,其搜索结果只落在稀疏的节点上,随后线性插值把它铺到每一帧,从而与 VLA 的稠密监督对齐。

图 3|螺钉拧紧与显卡插装:动作、图检索进度和权重的对应变化。
第三步:同时检查净进展与中途回退
剩余步数被映射为 0—1 的图检索进度(GRP)。每个动作块需同时通过两道检查:净进展超过阈值,且相对起点的最大回退未超限。通过者获得有上下界的正权重,其余权重为零。

公式 1|动作块权重规则,截自论文第 6 页式(8)。
Δ 表示终点相对起点的净进展,d 表示起点进度减去块内最低进度。权重直接乘在原有 VLA 监督损失上,无需改动架构;零权重片段不贡献梯度,对应状态仍留在图中。GR-BC 想实现的,是无外界干扰情况下策略丝滑的完成精细操作,有外界干扰情况下,策略将自主调整并展现恢复能力。

图 4|净进展与中途回退如何影响动作片段的训练权重。
每轮执行后,新收集的成功、失败与介入轨迹加入数据池。系统扩展图、重新搜索并更新权重,再离线训练下一轮策略。新经验也能改变旧片段的学习价值,无需额外训练奖励模型、或进度预测器。

图 5|GR-BC 的离线迭代表现
实验结果:四项精细操作,平均成功率约 91%
真机实验覆盖四孔零件装配、显卡插装、双螺钉拧紧和内存条插装。其中,DDR4 插槽开口约 1 毫米,对位置与姿态对齐提出了更高要求。

图 6|四类真实机器人任务的操作与鲁棒性扰动演示。
主实验以 X-VLA 为骨干,各方法从相同的行为克隆检查点出发。GR-BC 在上述四项任务上的最终成功率依次为98%、93%、89% 和 83%,平均约 91%;类 DAgger 等权聚合基线平均为 64%,相差约 27 个百分点。

图 7|X-VLA 四任务成功率及迭代变化。
显卡插装的独立实验还覆盖 SmolVLA 与 π₀.₅,GR-BC 均优于各自的类 DAgger 基线,支持其在该任务上的骨干兼容性。前述 91% 仅指 X-VLA 的四任务结果。
进度评测:能否发现成功轨迹里的退步?

表 1|进度评测与输入条件;GRP 为图内诊断。截自论文第 7 页表 1。

图 8|局部偏离、重新定向和滑脱时,GRP 的进度信号出现回落。
每项任务固定评测 30 条成功、30 条失败轨迹。四任务汇总中,GRP 的成功 — 失败终点进度差为 0.97,局部偏离检出比例为 0.92。这意味着它不仅区分成败,也能捕捉成功过程中的退步。
总结与展望
真机数据来之不易。一次插入、一轮对齐、一段人工纠正,背后都是设备运行和人的时间。要求数采员提前交出一条近乎完美的完整示范,往往意味着更多重试,也可能让许多局部有效的经验被一同丢弃。
GR-BC 让多次不完美尝试中的有效经验共同发挥作用,为预训练数据清洗、后训练数据质量优化,以及基于任务进度的数据达标评估提供新思路。通过连接分散经验、识别有效动作片段,让数据价值的判断从整条轨迹的成败深入到局部动作的实际贡献。面向工业界毫米级插接、装配等精细操作,这一思路也有望帮助策略学习偏差纠正与受挫恢复,为更鲁棒的机器人操作提供支持。
作者团队简介
第一作者李小满,来自浙江大学 CAD&CG 国家重点实验室,在中国电信人工智能研究院(TeleAI)实习期间参与本项研究。工作由浙江大学、TeleAI 与伽马智能等机构合作完成。