henry 发自 凹非寺
量子位 | 公众号 QbitAI
刚刚，BeingBeyond智在无界发布首个基于人类视频数据的隐式触觉世界动作模型——
Being-H0.8
作为一套带有触觉的隐式世界—动作模型，Being-H0.8在预训练阶段就教会机器人提前判断将要怎样接触物体，并在真正接触后，根据触觉反馈及时调整动作。
相比于过去根据画面决定做什么动作的世界模型，Being-H0.8这次把触觉放进了“预测—执行—反馈”的完整链路：
模型先根据当前画面，预判接下来可能发生的接触，执行过程中再读取最新触觉，重新生成下一小段动作。
具体来说，为了实现这一点，Being-H0.8从数据、模型和控制三层同时入手：
- 数据：汇总数十家合作伙伴的数据，建立超过50万小时的原始数据池，形成高质量数据集UniHand-3.0 ，并通过TactoHand生成接触和邻近度标注。
- 模型：预训练时，把动作执行后实际记录到的视觉和触觉结果作为监督，让模型学习仅凭当前指令和画面，提前判断接下来会怎样接触。
- 控制：每个动作块开始时，模型先生成完整动作计划；每执行一小段，就读取最新机器人状态和触觉，只重算下一小段动作。
基于这套方法，Being-H0.8在真实双臂机器人实验中，完成了包中取物、毛笔写字、挤牙膏、夹薯片等依赖触觉的高难度精巧任务。
首个基于人类视频数据的隐式触觉世界动作模型
要说Being-H0.8这次最值得关注的亮点，当属创新的隐式触觉世界动作模型 架构和超50万小时的超大数据集了，咱们先来看模型层面。
对于具身模型而言，触觉不仅关系到精细操作，还能帮助它完成仅凭视觉难以实现的接触推断。
因此，过去两年，围绕触觉如何赋能具身基础模型，学界已经涌现出不少探索，李飞飞、徐丹飞、Wenzhen Yuan、宋舒然等研究者也都在推进相关方向。
但如果我们把问题进一步聚焦到世界模型，就会发现：触觉究竟该如何进入世界模型，仍然是一个开放问题。
一方面，现有的世界模型大多以视觉为核心。它们可以看到物体如何移动、形变，却很难准确判断接触是否发生、接触发生在哪里，以及物体正在承受怎样的作用力。
另一方面，触觉传感器虽种类繁多，但数据形态和表征方式并不统一。更现实的问题是，绝大多数大规模人类视频和机器人数据集，本身就没有同步记录触觉信息。
这就意味着，想要训练一个具备触觉能力的世界模型，不仅缺少统一的触觉表征，也缺少能够规模化获取的训练数据。
Being-H0.8正是智在无界针对这一问题给出的解法。
Being-H0.8在Being-H0.7隐式世界—动作模型的基础上，首次把触觉模态纳入隐空间表示中，将原本以视觉预测为主的建模方式，进一步扩展为隐式触觉世界—动作模型（Latent Tactile World-Action Model），把触觉预训练扩展到可规模化的第一视角人类视频数据。
这里的关键在于，Being-H0.8并不试图在像素层面完整重建未来画面，而是在隐空间中预测与任务真正相关的交互后果，例如是否发生接触、接触可能带来怎样的状态变化，并利用预测出的潜在状态进一步调节动作生成。
换句话说，Being-H0.8试图让机器人不只“看到”接下来会发生什么，还能从没有显式触觉标注的人类视频中，学习对接触与受力结果的隐式判断。
具体的，Being-H0.8由四个核心模块组成：负责预测交互后果的Mixture of Transformers (MoT)、负责执行与实时调整的慢—快动作专家、负责统一触觉输入的通用触觉编码器，以及负责统一动作空间的TopoHand
其中，通用触觉编码器首先将不同传感器采集到的触觉信号，转换为统一的触觉token，从而降低不同设备、不同数据形态之间的差异。
而慢—快动作专家，则负责兼顾推理效率与接触反馈。
- 慢速流缓存视觉、语言和隐世界状态等计算成本更高的上下文，负责维持整体任务与动作计划；
- 快速流则在动作执行过程中，读取最新状态和触觉反馈，只重新生成接下来的一小段动作。
这样一来，机器人不必每次接收到触觉变化都重新计算完整计划，也能根据滑动、受力变化或接触偏移及时调整动作。
在训练阶段，未来时刻的触觉token会进入MoT的后验分支，帮助模型理解真实接触发生后，世界状态会如何变化。
到了部署阶段，MoT负责提前预测交互后果，慢速流维持整体上下文，快速流则根据最新触觉实时纠偏。
由此，触觉不再只是动作完成后的附加反馈，而是同时进入了机器人的“预测、执行与调整”过程。
超过50万小时的数据池
聊完模型，一个很自然的问题是：那训练模型的数据从哪里来呢？
这就要进入Being-H0.8的另一项关键工作——数据。
作为国内最早一批利用大规模人类视频预训练具身基础模型的企业之一，智在无界一直沿着人类视频预训练这条路线持续积累数据，并将其用于具身基础模型训练。
Being-H0.8的数据底座，正是这条路线长期积累的结果。
历经Being-H0到Being-H0.8的持续迭代，智在无界已汇聚了超过500,000小时的第一人称视频数据，并与数十家数据供应商开展合作。
这些视频数据覆盖自然物体交互、长时程任务、丰富手部动作与多样场景，为具身模型提供大规模人类交互经验。
据智在无界团队介绍，这也是目前国内规模最大的人类操作视频数据池
但50万小时原始视频，并不等于50万小时可以直接用于训练的数据。
这些视频中混有大量看不到手、缺少有效操作、镜头剧烈抖动、与桌面物体交互无关或内容高度重复的片段；不同数据源在场景、任务、视角和动作分布上，也存在明显差异。
为此，团队搭建了一套面向数十万小时视频的数据处理管线，对原始数据进行过滤、去重、切分、语言标注和分布再平衡。
首先，团队会剔除无效片段，并将长视频切分为连续的短片段，再为其补充细粒度语言描述。
不过，只有画面和文字还不够。
具身模型不仅要知道画面中发生了什么，还要知道人的手处于什么状态、执行了怎样的动作。
对于缺少准确动作标注的人类视频，团队使用MANO统一表示手部状态，通过HMR（hand motion refinement，HMR）恢复和细化裸手运动轨迹，再利用Caliball补齐缺失的相机参数，从视频中进一步恢复出可用于学习的手部动作信息。
对于机器人数据，团队重新整理了规范化URDF，并统一关节约定、相机坐标系和手腕位姿表示，再针对各个数据集完成校准、同步和验证。
此外，团队还会逐项检查数据完整性、运动学一致性、跨模态同步情况，以及语言描述与视频内容是否匹配。
经过过滤、重建和标准化后，来自不同来源的人类视频与机器人轨迹，才被整理为相对统一的数据格式，最终形成UniHand3.0训练数据。
不过，到这里，这套数据仍然缺少最关键的一环——触觉。
把没有触觉的视频，变成可训练的触觉数据
经过前面的清洗、重建和标准化，模型虽然获得了大规模操作数据，却依然无法直接知道：接触发生在哪里、力度如何变化，以及物体在接触后产生了怎样的反馈。
Being-H0.8接下来的工作，就是把这些原本没有触觉记录的视频，转化为可以参与模型训练的触觉数据。
整套pipeline可以分成四步：
- 第一步，利用TactoHand从普通人类视频中恢复接触位置和邻近关系。
- 第二步，引入压力手套等真实传感器数据，为视觉推断补充物理压力信息。
- 第三步，通过通用触觉编码器，将不同来源、不同粒度的触觉信号统一成固定格式的触觉token。
- 第四步，利用TopoHand对齐人手、灵巧手和平行夹爪的结构与动作空间。
沿着这条路径，没有显式触觉记录的人类视频，最终被转换成了能够进入世界模型的统一触觉与动作表征。
第一步：从视频中恢复接触
Being-H0.8首先提出了TactoHand，用于从无触觉标注的人类视频中预测稠密的伪触觉监督，从而解决大规模人类视频普遍缺少触觉信号的问题。
TactoHand的核心思路是，不要求每段人类视频都同步采集真实触觉，而是先利用手与物体之间的三维几何关系，推断接触是否发生。
在带有三维标注的数据中，系统可以获得已经配准的手部网格和物体网格。通过计算手部顶点与物体表面的距离，并结合二者表面方向，TactoHand可以判断手部不同位置是否与物体发生接触。
在此基础上，TactoHand会在MANO手部表面的778个顶点上预测两类信息：
一类是接触标注，判断哪里已经碰到物体；另一类是邻近度标注，描述手指从靠近物体到真正接触的连续过程。
这套模型使用21个人—物交互数据源、共计3010万帧数据进行训练，并引入时序信息辅助判断。
毕竟，单张画面中看似贴在一起的手和物体，也可能只是视角重叠；结合连续动作，才能更准确地判断接触是否真的发生。
训练完成后，TactoHand便可以应用到普通第一视角视频。UniHand3.0会先重建并跟踪视频中的手部运动，再将预测出的接触和邻近度信息映射回统一的MANO拓扑。
对于重建结果不可靠的位置，系统会将其标记为无效，而不是直接判断为“没有接触”。
第二步：用真实传感器补充压力
不过，从视觉中推断接触，终究不能完全替代真实触觉传感器。
几何关系可以帮助模型恢复接触位置和邻近程度，却很难完整获得压力、摩擦、剪切力、滑移和材质等更细致的物理信息。
因此，UniHand3.0还加入了约55小时、540万同步帧的压力手套数据，并将真实压力信号投影到同一套MANO手部表面。
两类数据由此形成互补：大规模人类视频负责覆盖更多物体、场景和动作，真实触觉传感器则负责提供更加准确的物理压力信息。
第三步：统一不同触觉数据
但触觉数据有了，格式仍然是乱的。
有些数据只标记是否发生接触，有些来自少数几个指尖传感器，有些提供逐顶点的邻近度或压力信息，还有大量样本完全缺失某一类触觉通道。
为此，Being-H0.8设计了通用触觉编码器（Universal Tactile Encoder），在统一手部拓扑上建立了一套由粗到细的触觉金字塔。
从整只手是否发生接触，到具体手部区域、指尖，再到逐顶点的压力或邻近度，不同来源的数据都可以被映射到对应的空间粒度。
每个触觉token除了记录接触、邻近度或压力，还会携带三维位置、拓扑位置、左右手信息和有效性标记。
其中，有效性标记尤其重要。因为“没有压力传感器”和“压力读数为零”，显然不是一回事。
最后，模型通过Perceiver结构，将长度不同、密度不同的触觉输入，压缩成固定数量的触觉token。
第四步：对齐人手与机器人动作
触觉表示统一之后，还要跨过人手与机器人之间的动作鸿沟。
人手、灵巧手和平行夹爪在几何结构、自由度和控制空间上都存在明显差异。同一个“捏住”“抓取”或“松开”动作，在不同本体上可能对应完全不同的表示方式。
为此，Being-H0.8设计了TopoHand，将手部表示拆分为手腕位姿、形态编码、20个规范关节角和夹爪张开量，让语义相近的动作进入相同的表示槽位。
它并不没有把所有手改造成同一种结构，而是将人手、灵巧手和夹爪开始使用一套可以相互对齐的动作语言。
至此，从普通视频中恢复的隐式触觉、真实传感器采集的压力信号，以及不同本体的动作数据，才真正被统一到同一套表示体系中。
这套数据pipeline解决的是触觉“从哪里来、如何统一”的问题：
TactoHand负责从大规模视频中补出接触监督，真实传感器提供更准确的压力信息，通用触觉编码器将不同信号转化为统一的触觉token，TopoHand则进一步对齐人手与机器人动作。
完成这些准备后，触觉才真正进入Being-H0.8的“预测—执行—反馈”链路：训练时帮助Being-H0.8学习接触会带来怎样的状态变化，部署时则作为实时反馈，持续修正机器人接下来的动作。
团队介绍
最后，让我们简单介绍一下Being-H系列背后的团队——
BeingBeyond（智在无界）。
BeingBeyond成立于2025年5月。创始人卢宗青是北京大学计算机学院长聘副教授、智源学者，长期从事强化学习和多模态模型研究。
在学术界，他最早开始探索利用大规模人类视频训练具身模型，这也成为BeingBeyond此后技术路线的起点。
回看Being-H系列的发展，这条路线大致经历了三个阶段。
第一阶段解决的是“人类视频怎么用”。从Being-H0到Being-H0.5，团队首先验证了利用人类视频预训练具身模型的可行性，让机器人能够从人类操作中学习可迁移的动作经验。
第二阶段关注的是“怎么规模化地用”。从Being-H0.5到Being-H0.7，团队不断扩大数据规模，并进一步解决跨本体学习和隐式世界建模问题，让海量、异构的人类视频能够真正参与具身模型训练。
到了Being-H0.8，问题则进入第三阶段：人类视频怎么高质量地用。重点不再只是继续增加数据量，而是通过清洗、动作恢复、触觉标注和表征统一，从海量原始视频中提取更准确、更具物理意义的训练信号，以高质量数据推动模型能力进化。
因此，Being-H0.8补上的不只是一个具备触觉能力的世界模型，更标志着Being-H系列的数据路线完成了一次转向：从验证人类视频能不能用，到解决海量视频如何规模化使用，再到进一步追问，能从这些视频中提取出多少真正有价值的物理经验。
对BeingBeyond而言，核心壁垒也不再只是拥有多少视频，而是能否把数据收集、清洗、动作恢复、触觉标注、世界建模与机器人控制接成一条完整链路，持续将原始视频转化为机器人可以学习和复用的物理经验。
