机器人数据采集过去几年,一直在努力做一件事:摆脱机器人本体,让采集变得更轻、更便宜,也更容易扩大规模。
最早,机器人主要依靠遥操作学习。操作员控制机器人完成任务,系统记录关节状态、末端动作和环境信息。这种方式得到的数据可以直接用于机器人策略训练,但代价也很明显:每一小时数据背后,都需要真实的机器人、操作设备和相应的人员投入。
后来,UMI 等便携式示教方案开始摆脱本体约束,Ego 第一视角采集则将这件事进一步简化。人戴上相机,就可以走进家庭、办公室、商店,在真实环境中完成各种操作。
数据采集终于不必总是围着机器人转了。
但当设备越来越轻,另一个问题开始暴露:我们拍下了人如何完成任务,却未必完整记录了人完成任务时的身体运动和接触状态。
比如铺床。人需要走到床边、抓住被角、抬起双臂将被子展开,再沿着床边移动,一点点拉平褶皱。身体的位置决定双手能够触及哪里,抓握位置和力度则影响布料如何展开。
一段第一视角视频可以记录眼前发生的操作,但视野之外的躯干、腿部如何运动,双手与布料接触时的压力如何变化,却无法直接测量。对于要学习全身移动灵巧操作的机器人来说,这些恰恰是重要的训练信息。
这就把机器人数据采集推向了一个新的选择:继续用更轻的设备获取更多视频,还是重新补回那些在轻量化过程中被舍弃的交互信息?
破晓智能选择了后者,但并不打算回到繁重的专业动捕。
10 月 14 日,破晓智能(PHANES AI)联合天珑移动发布全身全模态数据采集系统 SeePhys Hub,尝试在高精度但难规模化的遥操作、动捕数据,与轻量但信息相对有限的 Ego 数据之间,探索一种新的采集范式。
这套系统由一个四目头环、两个腕部手环、三个腰腿部动作追踪器和一副触觉手套组成,能够同步记录第一视角视觉(360° 环视覆盖)、手部全模态数据(手部位姿追踪、高密度触觉)与全身运动信息(位姿与受力)。
它想做的,可以简单理解为给 Ego 补上 “全身”:既保留人类在真实场景中自由操作的能力,又记录身体如何移动、双手如何接触物体,让数据更完整地描述一次真实交互。
对破晓而言,这不只是多做一套采集设备,而是对机器人数据规模化路径的一次重新选择。
一、Ego 解决了规模问题,全身全模态想补上缺失的信息
具身智能究竟需要多少数据?行业里甚至出现过一亿小时 Ego 数据量级的估计。
Ego 路线能够迅速获得关注,原因并不复杂。它不再要求每一小时训练数据都由机器人本体产生,人类日常操作本身就可以成为学习素材。
但破晓认为,数据规模的增长未必能带来同等程度的学习收益,尤其当机器人从固定位置的双手操作,走向全身移动灵巧操作(loco-manipulation)时。以抓取为例,视觉能够记录手如何靠近物体、物体怎样移动,却很难直接判断接触时施加了多大的力。同样的手部轨迹,在不同接触条件下,可能产生完全不同的结果。
全身操作还增加了另一层复杂性:机器人必须知道身体站在哪里、什么时候移动、如何调整姿态,以及身体运动怎样与双手操作配合。

如果缺少这些状态,模型就只能从有限的视觉线索中推断。更多视频当然有价值,却未必能够解决输入信息不完整的问题。但回到专业动捕,同样不是一个容易规模化的答案。
破晓因此提出了一个数据金字塔的思路。最底层是互联网公开数据和普通 Ego 视频,规模庞大、场景丰富,但缺少直接测量的全身姿态与接触信息;最顶层是真机遥操作、专业动捕等高精度数据,能够提供可靠的动作监督,但成本高,采集条件也更加受限。
SeePhys Hub 希望填补的是中间层:用成本接近 Ego 的采集方式,获得带有全身姿态、手部运动与触觉信息的人类操作数据。
杨朔将其称为 “一种中间态”。在他看来,中间层并不是要取代动捕或真机数据。恰恰相反,团队的全身姿态估计模型仍然需要高精度动捕数据提供监督。三类数据各有用途,应该形成互补关系。
对于模型预训练而言,未必每一个人体关节都需要毫米级的定位结果。更现实的目标,是在满足模型训练需求的精度下,让数据采集能够进入足够多的真实场景。
破晓还希望通过算法,把不同层级的数据连接起来:利用高精度动捕数据训练姿态估计模型,再尝试为海量 Ego 视频补充姿态、触觉等信息。
中间层设备采集的真实数据,则可以为这类模型提供更多监督和验证依据。这套思路最终指向一个问题:能否通过更完整的交互信息,提高每一小时数据的学习价值?
破晓希望探索百万小时量级的全模态数据能否支撑预期的泛化能力。不过,这仍然是团队正在验证的方向。目前尚没有公开的模型训练结果,可以证明百万小时全模态数据能够替代一亿小时 Ego 数据。
二、硬件做减法,把更多工作交给算法
既然要采全身,为什么不直接给人体装上更多传感器?破晓在设计 SeePhys Hub 时,实际上把问题倒了过来:为了让数据真正实现规模化,采集员身上最多需要保留多少设备?
破晓希望这套设备穿戴尽可能无感、成本足够低、能够在真实环境中实现规模化的自由采集。

这与传统动捕追求最高精度的出发点不同。SeePhys Hub 没有选择全节点惯性动捕,而是在腰部后侧和双小腿布置三个动作追踪器,再结合双腕设备与头部视觉,通过模型恢复完整的人体姿态。
团队比较过纯视觉姿态估计和全节点惯性动捕。前者足够轻便,但看不见的身体部位只能靠模型猜测;后者能提供更多直接观测,却增加了设备数量、穿戴难度和成本。
SeePhys Hub 最终选择融合视觉、IMU 与 UWB。
IMU 通过加速度、角速度等信息记录运动变化,UWB 提供节点间测距等额外约束,两者与视觉结合,可以缓解纯视觉的遮挡问题,以及单纯依赖惯性信息时的累积漂移。
根据团队提供的数据,其全身姿态估计模型,身体节点定位误差中位数低至1.5厘米。
头部视觉同样围绕采集完整性设计。SeePhys Hub 搭载四颗广角鱼眼相机,水平视场角 193°,垂直视场角 128°。其中,前方相机记录主要操作画面,其余相机扩大场景覆盖,减少动作离开视野的情况。
例如,采集员从冰箱取出物品后,侧身将冰箱门关上,普通前向第一视角相机未必能完整记录这一过程,而多方向相机可以保留更多场景信息。
头环还集成了 500Hz 高频 IMU,用于补充快速转头时相邻视觉帧之间的运动变化。在多模态数据同步方面,UWB 还承担设备间的时钟同步功能。团队介绍,其底层同步方案具备 10 纳秒量级的理论精度;头环内部相机、IMU 与 UWB 同步误差则不超过 0.5 毫秒。
这些技术细节最后都要回到使用体验。SeePhys Hub 头环重量不超过 220 克,单个腕部手环不超过 75 克,两类设备均支持连续 24 小时不间断采集。采集员穿戴后,通过约一分钟的 T-pose、A-pose 标定流程,即可开始正式采集。
触觉手套的设计则更有意思。在接触数据采集运营方时,破晓得到过一个非常直接的需求:“不要让我们的人戴手套。”
原因很现实。采集员可能需要洗碗、整理物品,或者完成涉及频繁摩擦的操作。触觉手套既可能影响手部活动,也存在防水、磨损和数据稳定性问题。
因此,SeePhys Hub 将触觉手套和腕部手环做成可分离结构。需要真实触觉监督时,可以佩戴手套;不适合戴手套的场景,则可以只使用腕部设备。
但这也带来一个问题:没有触觉手套,接触压力从哪里来?
破晓的另一条技术路线,正是尝试用模型补全触觉。团队此前的 EgoTouch 建立了第一视角视频、双手姿态与真实压力分布之间的对应关系;TouchAnything 进一步学习从视觉估计接触位置和压力分布。
目前,团队还在推进纯视觉裸手触觉估计,希望未来能够在不佩戴触觉手套的情况下,为普通操作视频补充接触信息。这个方向尚不能替代所有真实触觉测量,但它提供了一种思路:先通过高质量传感器获得监督,再让模型学会从更轻量的输入中恢复部分信息。
如果未来模型能够承担更多姿态和触觉估计工作,采集设备反而有机会继续简化。
硬件之外,SeePhys Hub 还配套了一套自研数据处理平台,负责数据解析、清洗、动作切分、语义标注,以及场景重建、全身姿态估计和手部动作追踪等处理。

其中,动作重定向(Motion Retargeting)负责将人类动作映射到不同机器人本体。由于人的身体结构与机器人并不完全相同,采集到完整人体动作之后,仍需要经过转换,才能进一步服务机器人策略训练。
这也解释了破晓对设备行业的另一层判断:硬件结构本身并不是最难复制的部分,真正需要长期投入的是多模态融合算法、姿态恢复能力,以及将人类数据转化为机器人训练数据的工程流程。
此次与天珑移动合作,破晓主要提供产品设计与算法能力,天珑则发挥消费电子领域的供应链、制造和成本管理优势,双方通过合资公司推进硬件产品的商业化与规模化交付。
对破晓而言,硬件是获取全身全模态数据的入口,长期投入的重点仍然是数据处理、算法与模型研发。设备能否规模化部署只是第一步,更关键的是,这些补充了全身运动与触觉的数据,最终能为机器人训练带来多少收益。
三、98 年教授创业,数据采集只是世界模型的起点
对破晓而言,全身全模态数据采集只是技术路线的起点。团队更长远的目标,是构建面向人形机器人全身移动灵巧操作的世界模型。
破晓智能由 1998 年出生的哈尔滨工业大学(深圳)计算机科学与技术学院长聘教授、博士生导师杨朔创办。杨朔长期从事全模态大模型、计算机视觉与具身智能研究,26 岁获评哈工大(深圳)长聘教授、博士生导师,是国内人工智能领域最年轻的教授博导。
成立以来,破晓逐步组建起一支兼具模型研究与工程化经验的团队。团队 90% 以上的核心成员毕业于清华大学、北京大学、香港大学、哈尔滨工业大学等高校,具备较高的学术人才密度,研究与工程实践覆盖全模态大模型、世界模型、大规模数据处理及硬件研发等领域。
与不少具身智能公司不同,破晓现阶段并不打算自研人形机器人本体。团队认为,当前数据采集、模型架构与应用场景尚未完全收敛,过早绑定特定本体,可能限制模型研发的方向。相比之下,先建立跨本体的数据与模型能力,是更适合现阶段的选择。
这条路线已经有了一系列研究积累。从 EgoTouch 采集真实触觉,到 TouchAnything 利用视觉估计触觉,再到 TouchWorld 将触觉引入世界模型,预测接触、力与位姿等物理状态,破晓逐步将触觉从感知信号变成模型理解物理交互的依据。
SeePhys Hub 则将这一研究范围从双手扩展到全身。 对于全身移动灵巧操作,机器人需要理解的不只是双手如何接触物体,还包括身体如何移动、姿态如何调整,以及这些动作会带来怎样的物理结果。
这些正是破晓下一步希望通过全身全模态世界模型学习的内容。
按照规划,团队预计在 2027 年推出全模态世界模型,并优先在工业、餐饮零售等垂直场景开展验证。
破晓对模型竞争也有自己的判断。机器人需要在真实环境中实时感知和执行,许多场景要求端侧部署。相比一味扩大参数规模,如何让有限规模的模型真正理解物理交互,并稳定完成任务,才是更实际的挑战。

当然,从更完整的人类数据走向更强的机器人能力,仍需要解决跨本体迁移、触觉估计可靠性等问题。全身全模态数据究竟能带来多大的训练收益,也需要后续真机实验验证。
但 SeePhys Hub 已经让这条技术路线有了工程化的起点。
过去几年,机器人数据采集不断摆脱本体与复杂设备的束缚。破晓希望在此基础上,补回全身运动与触觉,让规模化采集的数据真正包含机器人理解物理世界所需的信息。
从真实交互中学习,在物理世界中自主行动。 从触觉研究到全身全模态数据,再到未来的世界模型,这正是破晓希望走通的路径。