解锁具身智能的GPT时刻?浙大宇树开源500万条机器人预训练数据

栏目:互联网 | 来源:机器之心Pro | 2026-11-18 11:23

浙江大学与宇树科技具身智能联合实验室等团队从海量互联网人类视频中构建并开源了预训练数据集Movens-5M,收录500 万条经仿真执行验证的机器人动作,总时长超过 1 万小时。

数据集覆盖行走、深蹲、拖地、拳击等 297 种细分动作,涵盖居家生活、健身训练、户外休闲等 16 类场景。

团队将文字指令、视频示范、语音和音乐与机器人动作配对,实现多模态对齐,并提供分时段、分身体部位的动作说明。研究者可以用这些数据训练模型,让模型学习不同形式的输入分别对应怎样的动作。

基于这套数据训练的动作模型Movens-Zero,能根据上述四种输入生成机器人全身动作。团队在宇树 G1 上展示了真机执行效果,并通过 Scaling(规模扩展)实验检验:数据更多、动作生成模块更大,模型能否持续进步。

Movens-Zero 研究概览。图源:论文首页与图1。

人类擦门视频,怎样成为机器人训练数据?

一条能用于模型训练的数据,除了视频,还需要包含什么?可以先看一段清洁视频。

画面中,人物俯身擦拭门板中下部,随后逐渐起身,将手臂抬向高处。这条数据记录通过四路画面,展示了原始视频、从视频中还原的人体三维动作、转换成适合 G1 的动作,以及模拟环境中的 G1 执行结果。



清洁数据案例。四列依次为原始视频(Original Video)、人体动作(Recovered Motion)、G1参考动作(G1 Reference)、G1模拟执行(G1 Tracking)。

系统先从视频中估计人的三维动作,再按机器人的身体结构调整这些动作。随后,系统让模拟环境中的 G1 执行调整后的动作,检查机器人能否稳定完成。

数据记录还配有文字说明,描述不同时间段内各个身体部位的动作。这段 7.25 秒的视频可分为三个阶段:

0–4 秒:人物俯身,左手持绿色清洁布往返擦拭门板中下部,右臂弯曲,放在身体后侧。

4–6 秒:人物逐渐直起上身,左臂随擦拭位置抬高。

6–7.25 秒:双臂向上抬起,伸向门板较高的位置。

这些文字就像视频的分步说明,记录了人物什么时候弯腰、哪只手在擦拭、什么时候起身抬臂。每一步的说明都有对应的画面和机器人动作,帮助模型学习根据文字要求生成动作的能力。

数据中也有与物体交互的动作,哑铃训练和杠铃硬拉就是其中的例子。哑铃训练包含弯举和俯身;杠铃硬拉包含上身前倾、慢慢放低杠铃、再重新站直。这些画面展示了手臂、双腿与躯干如何配合运动。



物体交互数据示例:哑铃训练、杠铃硬拉的人体动作与 G1 动画对照。杠铃 G1 画面为参考动作回放。

如何从海量视频中得到 500 万条机器人动作?

前面的清洁和物体交互案例,展示了单条数据如何把视频、文字说明与机器人动作联系起来。要把这样的样本扩展到 500 万条,团队需要一套能批量处理海量视频的自动化流水线:既要识别人的动作,也要将动作转换成机器人能够稳定执行的轨迹。

人物被遮挡、镜头晃动,都会干扰对动作的判断。人和机器人的身体比例不同,关节能活动的角度也不一样;机器人运动时还需要保持平衡。因此,系统要先按机器人的身体结构调整动作,再验证机器人能否稳定执行。

团队搭建了一套自动化数据处理流水线,包含片段生成、质量筛选、语义标注、动作恢复、物理精修五个阶段。

Movens-5M 数据处理流水线。图源:论文图2。

  • 片段生成(Clip Generation):整套流水线先按镜头边界切分长视频,形成连续片段,并保留来源信息。
  • 质量筛选(Quality Filtering):系统检查画面质量、人物是否清楚可见,以及动作信息是否充足,筛除不合格的素材。
  • 语义标注(Semantic Annotation):系统为视频补充场景和动作说明,按时间段描述各个身体部位的变化,并整理片段对应的文字及可用的语音、音乐信息。
  • 动作恢复(Motion Recovery):系统从视频画面中估计人体的三维姿态,记录身体如何随时间运动。
  • 物理精修(Physical Refinement):系统检查并修复动作中的抖动、失稳等问题,再按 G1 的身体结构调整动作,最后在模拟环境中检验机器人能否稳定执行。

通过这套流水线,团队构建了包含1500 万条人体动作、500 万条机器人动作的数据集合,汇集超过 1 万小时行为数据。文字说明还记录了每段动作在不同时间如何变化,以及身体各部位如何运动。

这些配对数据让模型能够学习:面对一条文字或语音指令、一段音乐或视频示范,机器人应当做出怎样的动作。

基于这些数据,一个模型响应全模态输入

团队以这些配对数据训练 Movens-Zero,让同一个模型学习文字、语音、音乐和视频分别对应怎样的动作。训练后的模型能够根据四种输入生成机器人全身动作,并在宇树 G1 上展示了真机执行效果。

可以用文字告诉它做什么。演示中,输入 “Dance some hip-hop”(跳一段嘻哈舞蹈)后,模型生成了相应动作,无须额外提供参考视频。



文本输入:Dance some hip-hop(跳一段嘻哈舞蹈)

也可以直接说出指令。在演示中,机器人根据 “Salute with your left hand”(用左手敬礼)这一口头指令,完成相应动作。



语音输入:Salute with your left hand(用左手敬礼)。

音乐可以带动全身运动。模型根据音乐的节奏和风格,生成步伐以及上身动作。



音乐驱动的动作演示。动图无声,带音轨视频见项目主页。

还可以直接用视频示范。输入视频既可以是互联网片段,也可以来自现场拍摄。模型根据视频中的人物示范,生成适合机器人执行的动作。



视频输入的真机演示。左侧小窗为参考视频,右侧为宇树 G1。

Movens-Zero 先用理解模块分析文字、声音或视频,再由同一个动作生成模块结合输入信息和机器人当前状态,规划接下来的全身动作。论文将这个生成模块定义为 “动作专家”。机器人控制器随后向各个关节发送控制指令,让机器人执行生成的动作。

Movens-Zero 的理解、生成与执行架构。图源:论文图7。

现场交互时,人可能改变口头要求,也可能做出新的动作示范。模型需要据此更新机器人接下来的动作。

Movens-Zero 每次生成一小段动作,机器人先执行其中的前一部分。模型把尚未执行的末尾部分保留为下一段的开头,再结合最新输入和机器人状态生成后续动作,让前后片段连续衔接。通过这种方式,Movens-Zero将理解、生成、执行接成一条实时闭环回路。



现场视频输入:模型根据最新画面和机器人的身体状态,持续生成后续动作。

数据更多、动作专家更大,收益能否持续

前面的演示展示了模型能做什么,Scaling 实验进一步检验:增加训练数据、扩大动作专家,能否让生成动作更符合输入要求,让机器人执行得更好。团队分别考察了数据和动作专家规模的作用,并比较两者共同扩展的收益。

数据与模型的规模扩展|论文图9。上方六幅曲线展示动作生成学习误差、文本匹配、视频动作误差、音乐节拍对齐、语音匹配及运动跟踪表现随规模的变化;下方展示数据从10%增加到100%时,不同大小模块的提升幅度。↑越高越好,↓越低越好。可放大图片查看细节。

图中,横轴越往右,动作生成模块的参数越多,规模也越大;不同颜色代表使用了不同比例的训练数据。横轴的 M 表示百万参数,例如 64.2M 就是 6420 万参数。

观察同一条曲线从左到右的变化,可以比较动作生成模块增大后的表现;在同一个横轴位置比较不同颜色的曲线,可以看相同大小的模块使用更多数据后的效果。

增加数据,动作生成与跟踪都有改善

团队在第一组实验中固定使用 910.5M 参数的 XL 动作专家,将训练数据量依次增加到 Movens-5M 的1%、3%、10%、30%、100%。后一档包含前一档的数据;去重后的动作总时长从 122 小时增至 12,231 小时,可用的动作示例也随之增多。

训练数据比例从 1% 提高到 100% 时,文字要求与生成动作的匹配得分从 12.72% 升至 62.57%。论文用 R@3 表示这一指标,分数越高,表示文字与动作越匹配。

视频输入下,动作误差 MPJPE 从 132.82 毫米降至 40.90 毫米,即从约 13.3 厘米缩小到 4.1 厘米,下降69.2%。这一指标衡量生成动作与参考动作之间各个身体关节位置的平均差距,数值越低越好。

语音指令与动作的匹配得分也从 13.98% 升至 74.30%,音乐节拍对齐得分(BeatAlign)从 0.23 升至 0.61。运动跟踪得分(Tracking Score)从 0.21 升至 0.72,表明机器人跟随参考动作的整体表现也得到改善。

训练数据从 30% 扩展到 100% 时,模型仍有进一步提升:文字与动作的匹配得分又提高20.77 个百分点,视频动作误差进一步下降53.5%。

扩大动作专家,生成与跟踪继续改善

团队在第二组实验中使用全部训练数据,分别训练 S、M、L、XL 四档动作专家。它们的参数量分别为64.2M、187.9M、500.1M、910.5M,从 6420 万增加到约 9.1 亿。负责理解文字、声音和视频的模型保持不变,团队只调整动作生成模块的规模。

动作专家从 S 扩展到 XL 后,验证集流匹配损失(Val. FM Loss)从 0.487 降至 0.159,下降67.4%。这项指标用于衡量动作生成的学习效果,数值越低越好。运动跟踪得分同时从 0.18 升至 0.72,文字、语音、音乐和视频输入下的相关指标也持续改善。

更大的动作专家,从新增数据中获得更多收益

图 9 下方的柱状图展示了另一组对比:同样增加训练数据,不同大小的动作专家能获得多大提升?

以文字与动作的匹配得分 R@3 为例,同样将训练数据从 10% 增加到 100%,S 动作专家的得分从 6.34% 升至 10.30%,相对提升62.5%;XL 动作专家的同一得分从 24.92% 升至 62.57%,相对提升151.1%。其余五项指标也呈现同样趋势:在所比较的四档动作专家中,容量越大,从新增数据中获得的相对提升越大。

以上实验证明,增加数据与扩大动作专家能够相互配合,进一步改善动作生成和执行表现。更多训练数据帮助模型学习更丰富的动作,而更大的动作专家能够更充分地利用这些数据。

数据、模型与论文入口

研究者可以使用开放的数据和模型,继续开展动作生成与规模扩展实验。项目主页已提供 Movens-5M 数据集、训练好的模型及代码等资源的访问入口。团队还提供了配套测试集 Movens-Intent,用于评估模型根据文字、语音、音乐和视频生成动作的表现。真机演示与数据案例来自项目主页,方法图来自论文。

  • 数据集:huggingface.co/datasets/wendell0218/Movens-5M
  • 项目主页:movens-zero.github.io
  • 论文:arxiv.org/abs/2610.41877

了解更多

猜你想看

← 返回首页