最大规模具身大模型挑战赛落幕,48 小时真机总决赛比出了什么?

栏目:互联网 | 来源:极客公园 | 2026-11-17 00:35

开发者围绕同一块基础模型进行实验,让模型直面成功的方法、失败的经验和真实世界的问题。


作者|Li Yuan

编辑|郑玄

最大规模具身大模型挑战赛总决赛结果出炉,排名第三的队伍 SST 只额外采集了 13 条数据。

他们没有大量补数据,而是让 DeepSeek 先理解任务,再用视觉分割模型标出目标物体,最后交给 LingBot-VLA 2.0 完成动作,并在真机评测中拿到 65.87 分。

通用大模型与具身模型的协同在这里变得很具体:DeepSeek 负责弄清楚要做什么,具身基础模型帮机器人找准操作对象、做出动作。

11 月 16 日,首届蚂蚁灵波具身大模型挑战赛在上海张江收官。经过线上初赛,15 支战队进入为期 48 小时的线下总决赛。所有队伍使用同一款开源模型 LingBot-VLA 2.0、同一款松灵 COBOT MAGIC 机器人和统一的现场算力,完成蔬果摆放、化妆品收纳和双臂清扫三项任务。

起点相同,解法不限:有人重采数据,有人调整模型的训练和推理方式,也有人接入通用大模型、视觉分割或仿真工具。48 小时里,15 支队伍要回答的是同一个问题:面对真实桌面上的物体,怎样让已有的模型把这件事做成?

01

当胜负开始取决于如何使用数据


纵观整场比赛,有一点十分有趣:几乎每支队伍都提到了数据工程的重要性。

LingBot-VLA 2.0 已经具备基本的视觉理解、指令理解和动作生成能力。参赛者不必在 48 小时里重新训练一个机器人大脑,而可以直接判断模型已经会什么、会在哪些情况下失败,再决定应该补什么数据、怎样训练。

冠军团队 TARS 首先给三项任务分出了难易。经过测试,他们发现,水果摆放和化妆品收纳的主要问题,是现场的无关物体容易干扰判断。团队因此引入大模型识别目标和干扰物,再遮挡无关区域,让机器人更专注于当前任务。团队介绍,这套方法让第一项任务实现了 10 次全部成功。

他们把更多时间和数据留给了最难的双臂清扫。簸箕抓取不稳,团队便重新选择抓持位置并补采数据;机械臂伸远、负重后会下坠,他们又测量不同负重下的偏差,对动作进行补偿。此外,团队还将单步训练时间从约 15 秒压缩到 3.4 秒,为现场迭代争取时间。最终,TARS 以 82 分拿到第一名。

排名第三的 SST 走的是「少而准」的路线。除了在推理时接入 DeepSeek 和视觉分割模型,他们还冻结了部分预训练参数,避免 13 条补充数据破坏 LingBot-VLA 2.0 原有的通用能力。

获得第二名的 EVA 则选择持续补数据。比赛开始时,他们直接用官方数据训练,真机成功率只有约 10%。团队把每轮测试中的失败重新变成训练数据:机器人在哪里抓偏了、什么角度容易出错,就围绕这些问题继续采集和训练。经过 7 轮迭代,数据增加到约 1200 条,自测成功率提高到 73.83%。

资源有限的 FDU_SONIC,把重点放在了已有数据上。这支由四名复旦学生组成的队伍,平时使用约两千元的机械臂,算力也不充足。他们没有选择成本更高的模型结构创新,而是反复分析官方提供的 647 条轨迹,再通过真机测试寻找失败原因,围绕问题调整数据。最终,团队获得第五名和三等奖。

四支队伍使用同一款模型,却做出了完全不同的数据选择。

真正拉开差距的,也不再是谁采集的数据更多,而是谁更理解 LingBot-VLA 2.0 已经具备的能力,能够用最合适的数据和工具把它释放出来。

基础模型越强,开发者越不需要重复建设底层能力,也越能把时间花在过去只有完整机器人团队才有机会解决的真机问题上。

02

同一道题,

开发者带来了不同的解法


数据之外,15 支队伍本身的背景,也很值得一看。

进入决赛的 15 支队伍中,有长期研究机器人的学生和工程师,也有人来自自动驾驶、搜索推荐、大模型评测和 AI 基础设施等领域。对其中一些人来说,这甚至是第一次接触机械臂、仿真环境和真机调试。因此,大家的路线也格外精彩。

「416 一定行」的两名队员此前从事搜索推荐和多模态算法工作,刚刚毕业,也是第一次接触机器人仿真和真机调试。他们最初沿用互联网算法中常见的思路,通过补充数据和全量微调,让模型适应比赛场景。但结果并不完全符合预期:模型在标准场景中表现更好,换到物体随机摆放的环境后,成功率反而下降。

团队进一步分析后判断,视觉模块过度学习了比赛数据,损失了 LingBot-VLA 2.0 原有的通用能力。他们因此限制视觉部分的学习幅度,把更多优化集中在动作模块。这次尝试揭示了基础模型开发中一个重要问题:开发者不仅要教会模型处理新任务,还要避免在微调过程中破坏它已经拥有的能力。

来自大模型评测领域的「今天也要好好检东西」,看到的则是另一个问题。团队习惯先拆解任务、设计评价标准,再寻找失败发生在哪个环节。比赛中,他们让视觉语言模型负责理解环境和规划步骤,再由 LingBot-VLA 2.0 执行动作,同时搭建仿真环境,提前验证方案。

但到了真机现场,仿真桌面与真实桌面存在约 5 厘米的尺寸偏差,原本设计好的动作因此失效。这次失败并非毫无价值:它直接暴露了具身智能与纯软件开发的区别。数字环境中的方案可以精确复现,机器人面对的却是尺寸、光线、摩擦和机械误差都会变化的物理世界。通用模型降低了进入门槛,却不会自动抹平仿真与现实之间的距离。

更熟悉 AI 基础设施的团队,首先想到的则是加快训练。「持续知行」将单步训练时间从约 15 秒压缩到 4 秒,并在 48 小时内测试了约 30 个模型检查点;Motion 也把训练速度从每步约 14 秒提高到 3.7 秒。对一场只有 48 小时的比赛来说,训练提速并不只是节省等待时间,而是意味着团队可以多完成几轮「训练—上机—发现问题—重新调整」,更快找到有效方案。

还有自动驾驶从业者把残差学习和数据增强迁移到机械臂,机器人研究者则让模型根据环境的不确定程度调整动作长度。

这些方案并非都取得了理想成绩,但对第一次接触机械臂的人来说,能在 48 小时里把自己行业的方法搬上真机试一遍,本身就说明门槛在降。

03

具身智能还没找

自己的 Scaling Law


回到开头的 SST。只有 13 条补充数据之所以值得关注,是因为团队先用已有工具解决了指令理解和目标定位的问题,再让 VLA 专注于动作执行。TARS 也在蔬果摆放和化妆品收纳中用到了类似思路:先借助大模型识别目标,再减少画面里的干扰,让动作模型接收到更明确的输入。

最近一段时间,随着 Fable5.2 发布,很多人开始讨论通用大模型会不会吃掉具身智能基础模型?

在大赛同日举行的蚂蚁灵波首届开发者大会上,CEO 朱兴表示:「具身智能仍处早期,通用大模型的进展会加速行业发展,但机器人最终要在真实场景中证明,换个条件还能干、速度跟得上、成本也算得过来。」对蚂蚁灵波来说,基模最值得追求的进步,是让伙伴用更少的数据和后训练成本,把机器人部署到新场景。

过去几年,机器人本体、关节、灵巧手和传感器快速发展,能够生产机器人的公司越来越多,但机器人如何理解环境、适应新任务,仍然需要大量定制开发。如果每一种机器人、每一个场景都要重新训练一套大脑,再丰富的硬件形态也很难转化为规模化应用。

这也说明,具身智能的技术范式还远未收敛。此时真正稀缺的,不只是某一个应用,而是更多人围绕同一块基础模型进行实验,把成功的方法、失败的经验和真实世界的问题带回来。

朱兴也认为,本体和末端工具会长期保持多样。生产场景有不同的效率、节拍和成本要求;即便将来进入家庭,不同用户的需求和偏好也不一样。这意味着,模型适配不同构型会是一个长期问题。

「目前看 VLA、世界模型、通用大模型控制机器人等路线都在探索,行业还不知道哪类数据扩大规模后,能带来能力跃迁。」朱兴表示:「不要盲目乐观,但也没必要过于悲观。」

比如这次比赛中,LingBot-VLA 2.0 已经开始承担机器人大脑这一层的基础能力:让开发者不必从零搭建视觉、语言和动作系统,而是可以直接在已有模型上训练、优化和部署,让机器人可以更好地在真实世界干活,这也是蚂蚁灵波开放模型、组织统一真机评测的意义所在。

*头图来源:蚂蚁灵波

本文为极客公园原创文章,转载请联系极客君微信 geekparkGO

极客一问

通用大模型与具身模型,

该如何协同落地?




了解更多

猜你想看

← 返回首页