新智元报道
今天的视频生成模型，已经越来越像一个会拍电影的导演。
一句提示词，它能安排角色、动作和镜头；给它一张图，它能补出后续运动；再加入姿态、轨迹或外观控制，画面甚至可以按照人的意图发生变化。
可一旦离开这台「摄影机」，问题就暴露了。
你看到的仍是一段固定镜头下的二维视频：不能绕到物体背后，不能自由改变观察视角，更不能直接把其中的角色和场景交给游戏引擎、机器人仿真器或VR/AR系统。
视频看起来像一个世界，却还不是一个真正可被观察和操作的世界。
那么，视频模型在生成过程中已经学到的外观、运动与空间线索，能不能不经过像素，直接转化为动态三维几何？
来自ReLER、CCAI、浙江大学的研究人员给出了一个新的答案：Beyond Pixels——越过像素，直接从视频latent走向4D世界。
论文：https://arxiv.org/abs/2608.10744
项目主页：https://hayd-zju.github.io/Beyond-Pixels/
GitHub：https://github.com/hayd-zju/Beyond-Pixels
Hugging Face：https://huggingface.co/papers/2608.10744
文本、图像及其他视频控制条件产生的 latent，可以沿同一条路径转化为可从新视角观察的动态4D场景。
视频到4D
为何偏偏要绕一趟RGB？
利用视频生成先验构建4D内容，最自然的办法是「先生成，再重建」。
视频DiT首先在latent空间中完成去噪，VAE Decoder再把latent解码成RGB视频；随后，另一个独立训练的4D重建模型读取这些像素，恢复相机轨迹与动态几何。
这条路线看似顺理成章，却经历了一次多余的「翻译往返」：
生成latent→RGB视频→重建特征→4D几何
每跨过一次表示边界，都可能损失信息。
更麻烦的是，视频生成器与4D重建器通常见过完全不同的数据。前者面向开放世界内容，后者则多在规模更小、分布更窄的重建数据上训练。
当生成视频出现闪烁、遮挡错误、局部形变或时间伪影时，重建模型还会把这些像素问题进一步「固化」为几何孔洞、破碎表面和不稳定运动。
另一条路线，是直接把某个视频生成模型改造成4D模型，让它原生输出深度、点云或动态高斯。
这样虽然跳过了独立重建器，却往往把4D能力绑死在一个特定生成器上：更换DiT架构、参数规模或条件形式，可能就要重新进行昂贵的几何监督训练。
一边是可组合但容易误差传播，另一边是更直接却难以迁移。
Latent-to-4D想解决的，正是这个两难问题。
传统路线先将latent解码成RGB，再用独立模型进行4D重建；Latent-to-4D则通过L4AR直接把最终去噪latent转化为结构化4Dlatent。
不同DiT说着同一种「latent语言」
研究团队注意到，不同的视频DiT未必拥有相同的架构、参数量和条件输入，但它们可能共享同一个VAE。
只要VAE checkpoint、latent归一化、张量布局、压缩规范和latent shape保持一致，这些DiT最终生成的latent就处于同一种表示空间中。
换句话说：
DiT可以不同，但只要共用同一套VAE规范，它们在完成去噪后，就可能说着同一种「latent语言」。
而这个最终latent已经包含了上游条件所决定的内容：画面里是什么、主体怎样运动、镜头如何变化，都已经被写进其中。
更重要的是，它位于RGB解码之前。
于是，一个自然但此前没有被充分利用的接口出现了：把视频模型最终去噪的VAE latent，直接作为显式4D预测的输入。
基于这一思路，团队提出了Latent-to-4D，以及负责连接两种表示空间的核心网络——Latent-to-4D Alignment and Refinement（L4AR）。
L4AR
把视频latent翻译成4Dlatent
视频VAE latent不能直接塞进预训练4D解码器。
两者虽然都具有时空结构，但时间分辨率、空间网格与特征维度都不相同。L4AR的任务，就是完成这场跨表示的「同声传译」。
冻结的视频VAE提供输入latent，L4AR负责对齐与时空细化，预训练4D解码层级最终输出相机与动态世界空间点图。
整个过程可以拆成三步。
第一步：先让两个时空网格对上号
L4AR首先通过三线性重采样，把视频latent调整到4D解码层级所需的时空分辨率。
随后，一个可学习的3D卷积同时观察局部空间和相邻帧，将视频latent投影到4D token所需的特征维度。
它做的不只是改shape，还会在最初的对齐阶段聚合局部运动与外观证据。
第二步：一边盯住单帧细节，一边看完整段运动
局部对齐之后，模型还需要推理长距离对应、视角变化与动态结构。
L4AR交替使用两种注意力机制：
FrameAttention在单帧内部整理空间结构；
GlobalAttention在全部时空token之间交换信息。
前者守住物体轮廓和局部几何，后者把跨帧运动、镜头变化与长距离对应连接起来。
第三步：从4D latent解码出一个动态世界
经过多层细化后，4D Decoder会预测每一帧的相机、深度和世界空间射线，并将它们组合成统一坐标系中的动态点图。
结果不再只属于原始视频的固定镜头。用户可以改变视角，观察场景和物体在时间中的三维变化。
训练不用视频DiT，推理时完成一次「无缝换源」
Latent-to-4D还有一个很有意思的训练设计：训练阶段根本不需要运行视频DiT。
团队先用冻结的Wan VAE编码已有的重建视频，得到observed-video latent；然后利用这些视频已有的相机与几何标注，训练latent到4D的下游路径。
整个过程中，视频生成器、VAE和预训练4D模型的原始Transformer权重全部保持冻结。主要更新的是：
latent对齐模块；
基于LoRA的轻量时空细化参数；
相机与几何预测头。
到了推理阶段，只需要进行一次替换：
把真实视频编码得到的latent，换成兼容视频DiT生成的最终去噪latent。
后面的L4AR和4D Decoder完全不变，也不进行测试时适配。
为什么文本、图像、姿态和轨迹可以共用同一条路径？
因为这些条件已经被视频模型「实现」在最终latent中。对于L4AR来说，它不需要额外知道上游执行的究竟是哪一种任务。
一个checkpoint横跨三种DiT
4D几何监督一向稀缺，但这项工作并没有重新采集一套巨型数据。
Latent-to-4D的最终训练阶段只使用了约1K条已有重建视频。在此基础上，同一个checkpoint被原样接入：
Wan2.1-T2V-14B；
Wan2.1-T2V-1.3B；
Wan2.2-I2V-A14B。
它们覆盖不同参数规模的Text-to-Video模型和Image-to-Video模型，但共享同一套Wan VAE。
切换DiT后，不重新训练，不为条件任务增加分支，也不做测试时微调。
视频模型负责「想象内容和运动」，Latent-to-4D则提供一个统一的4D出口。
同一个latent，直接预测比「先解码RGB再重建」更稳
为了弄清提升究竟来自哪里，团队设计了严格的same-latent对比。
Latent-to-4D与Wan+4RC基线使用完全相同的生成latent。二者的唯一区别在于：
Wan+4RC：latent→RGB→4D重建；
Latent-to-4D：latent→L4AR→4D解码。
评测分别在200个文本条件案例构成的Text4D-200，以及200个图像条件案例构成的I4D-200上进行。
在Image-to-4D测试中，Latent-to-4D在论文报告的全部指标上排名第一。
更值得注意的是，14B和1.3B两个Text-to-Video DiT接入同一个checkpoint后，最终DINO-F1分别为57.01和57.09，结果非常接近。这为「共享VAE latent可以成为统一接口」提供了直接证据。
从机械师到火与水元素
RGB路线丢掉的结构被找回来了
定性结果更加直观。
在机械师检修汽车、火与水元素互动、阳台衣物摆动以及植物叶片等案例中，传统重建方法容易遗漏背景、细长结构或大面积表面。
Latent-to-4D则保留了更完整的主体和周围场景。
Text-to-4D对比。红色虚线框标出了其他方法中的结构缺失与破碎区域。
在Image-to-4D中，测试场景进一步覆盖室内瀑布、真实人物、自然景观与相机运动。
Image-to-4D对比。Latent-to-4D在多种开放场景中恢复出更完整的可见几何。
自动指标之外，50名参与者还进行了匿名、多视角的人类评估。每位参与者可以播放动态结果，并主动改变观察视角。
结果显示：
Text-to-4D的几何与完整度偏好率达到66.8%，总体质量为65.7%；
Image-to-4D的几何与完整度偏好率达到72.1%，总体质量为70.6%。
如果Latent-to-4D只能支持文本和图像，那么它仍然只是两个任务的组合。
真正有想象力的地方在于：L4AR读取的是条件已经生效后的最终latent。
因此，当兼容的视频模型获得新的控制方式时，这些能力也有机会沿同一接口进入4D世界。
论文展示了运动、外观、姿态和轨迹等多种控制结果：滑板运动、为蒙娜丽莎戴上墨镜、用姿态序列驱动机器人厨师，以及让角色沿指定路线移动。
同一个L4AR checkpoint可以继承上游模型中的运动、外观、姿态和轨迹控制。
研究团队还测试了更接近世界动作建模的案例：机器人用勺子舀取物体、把衣服放入篮筐、打开收纳箱，以及关闭消防柜门。
动作条件latent沿同一条路径转化为动态4D场景。
不是「任意DiT即插即用」
更不是物理世界模拟器
论文同时划出了清晰边界。
首先，Latent-to-4D的统一性建立在shared-VAE convention上。不同视频模型需要共享VAE checkpoint、normalization、tensor layout、compression convention，并具有受支持的latent shape。
因此，它并不是面对任意视频DiT都能无条件接入。
其次，论文中的投影DINO指标衡量的是从新视角观察时的可见几何一致性与完整性，不等同于生成场景已经达到度量级4D精度。
机器人操作、导航和轨迹案例验证的也是接口兼容性，而不是动作成功率或物理正确性。
这些限制并不削弱工作的核心结论，反而让它更明确：Latent-to-4D解决的是视频先验如何以统一、直接的方式进入显式4D预测，而不是一次性解决所有世界建模问题。
视频生成的下一个出口，可能藏在像素之前
过去，我们习惯把RGB当成不同视觉模型之间最通用的接口。
它直观、可显示，也方便被下一个模型读取。但RGB同样是一道信息瓶颈：生成模型已经压缩在latent中的运动与结构线索，需要先变回像素，再由另一个模型重新猜一遍。
Beyond Pixels提出了另一种可能——把共享的最终去噪latent，当作视频生成和4D几何之间的接口。
这样一来，视频DiT不必被改造成新的几何模型，4D解码路径也不必跟随每一种生成条件反复训练。
当视频模型继续获得更强的角色动画、相机控制、轨迹控制、世界动作和交互生成能力时，一个共享的latent-to-4D接口，也可能成为这些能力进入动态三维空间的「高速出口」。
视频生成的终点，或许从来不只是更逼真的一帧帧像素。
而是让像素背后的那个世界，真正拥有空间和时间。
参考资料：
https://arxiv.org/abs/2608.10744
编辑：LRST
