LeCun证明了：规模从未起作用，下一token路线效率低

栏目：互联网 | 来源：机器之心Pro | 2026-11-02 18:30

编辑｜Neo、泽南

人工智能先驱 Yann LeCun 一直主张「生成式 AI 是一条死胡同，世界模型才是真的未来」。

他认为自回归生成有数学上的硬伤，文本承载不了人类的大部分知识，真正的推理也不是基于优化的推断，衡量智能的标准应该是学习新任务的速度，以及零样本应对全新环境的能力。

基于这种观点，LeCun 寻求的替代路线是世界模型 + JEPA，一套目标驱动型架构。最近他提交的一篇论文向着这个方向前进了一大步，它从数学上论证了「next-token 预测路线效率低下」，还给出了自己的方法，用一个 1.09 亿参数的模型打败了 720 亿的 LLM。

一个只看图片的模型，与一个文本大模型，会不会在内部形成相似的「概念地图」？

柏拉图表征假说（Platonic Representation Hypothesis, PRH）由 Huh 等人在 ICML 2024 论文中提出，指在不同模态（视觉、语言）上分别训练的模型，随着规模增大其内部表征会越来越相似，最终收敛到同一个对现实的共享统计模型。这就如同柏拉图洞穴里不同的人看到了同一个「理念世界」。但它只有经验曲线和一个理想化对比学习器的直觉论证，既没有证明也没有配方，行业能做的只有继续堆规模。

这篇论文做的事就是把它变成定理，并给出了可操作的充分条件。

论文：《Proving and Improving the Platonic Representation Hypothesis with JEPAs》
链接：https://arxiv.org/abs/2610.39302
GitHub：https://github.com/galilai-group/prh-proof

让模型从不同描述中，学到同一个场景

文字模型读到的每句话都混合着两类信息：它描述了什么，以及它怎样描述。狗在追球属于前者，用「追逐」还是「追赶」则属于后者。如果希望文字模型与图片模型形成相通的表征，就需要让文字模型更多地保留场景中的内容。

但训练时，怎样告诉模型，哪些内容值得保留？

作者采用的办法，是让模型同时学习同一场景的不同观察。两个人描述同一张照片，用词、句式可以变化，场景中的主体和关系却大体一致。如果要求模型从这些描述中提取相似的表征，就能给它一个学习信号：寻找不同表达背后的共同内容。

JEPA（联合嵌入预测架构）提供了落实这个想法的方式。在本文的设置中，编码器先把输入转换成向量，训练再拉近一组输入的向量。这意味着，选择哪些输入组成一组，会直接影响模型被鼓励保留什么。

为了让模型从文字中提取场景信息，训练时应该给它看同一场景的不同描述，还是同一句话经过截取、遮盖后得到的不同版本？作者通过对照实验比较了这两种选择。

假设一张照片里，一只狗正在草地上追球。两个人分别写下描述：「一只狗在草地上追逐皮球」「草坪上的小狗正在追赶玩具」

第一组从这两份不同描述中，分别截取片段、遮盖部分词语。例如，模型看到的可能是「狗在草地上追逐［遮盖］」和「草坪上的小狗正在追赶［遮盖］」。两句话表达不同，要让它们的向量接近，模型就需要更多地利用「草地」与「草坪」、「追逐」与「追赶」背后相通的场景内容。

第二组则只取第一句话，将它加工成两个版本，例如「一只狗在［遮盖］追逐皮球」和「一只狗在草地上追逐［遮盖］」。两份输入保留了「一只狗在」「追逐」等相同措辞，模型可以借助这些文字上的相似，让它们的向量接近。

作者将第一组称为「好视图」（good-view），第二组称为「坏视图」（bad-view）。这里的「视图」，可以理解为训练时提供给模型的一份观察。两组采用相同的 JEPA 学习方式，便能考察：输入之间共享的是场景，还是某一句话的表达，会给表征带来什么差别。

「好视图」使 PRH 成为一个定理，并使对齐过程的样本效率提升了 42 倍。

这套训练还需要解决一个问题：如果模型把所有文字都转换成同一个向量，也能满足「向量接近」的要求。因此，作者加入防止「表征坍塌」的约束，让整体表征保持分散。模型既要找到一组描述的共同内容，又不能把所有场景混为一谈。

沿着这个思路，文字与图片之间的联系也更容易理解了。措辞是文字特有的信息，拍摄角度是图片特有的信息，场景中的主体和关系，则可能被两种观察共同保留。如果分别训练的模型都学会提取这些共同结构，它们的内部表征就有机会相通。

由一个从未接受过任何图像-文字对训练的网络生成的字幕：使用了冻结的 DINOv2 和 DINOv3 图像编码器，仅旋转一次，并采用仅基于文本微调的语言模型，每次场景变化都会生成新的字幕。

作者为此给出了数学条件。在理论构造的有限世界中，他们假设每种观察都足以确定对应的世界状态。如果不同模态的训练连接相同的世界状态关系，那么还原到世界状态后，各模型就在求解同一个优化问题。在最优解除旋转外唯一等条件下，得到的表征便只差一次整体旋转。

就像两个人各画一张地图，朝向不同，但城市间的相对位置一致，转动后就能重合。

这也引出了与下一 token 预测的比较：让模型预测后面的词，会给它怎样的学习信号？

为了准确续写，模型需要利用内容，也需要利用语法、措辞和文体。作者通过改写目标函数，将下一 token 预测纳入类似 JEPA 的框架，指出它连接的是同一篇文档的前缀与后续内容。这种连接保留了文档自身的表达特征。

据此，作者提出一种解释：好视图训练直接连接同一场景的不同描述；下一 token 预测则需要从大量语言关联中，逐渐建立这些描述之间的联系。对于形成可与视觉模型对齐的表征，后者可能需要更多数据。

实验接下来要检验的，就是这种训练信号的差别，究竟会带来多大的效果差距。

换一种训练方式，能带来多大变化？

如果前面的解释成立，那么在模型规模、训练语料相同的情况下，改变视图的选择，就应该改变模型与视觉表征的接近程度。

团队首先在 Flickr30k 上检验这一点。这个数据集中的每张图片都有五份人工描述，既能提供同一场景的不同表达，也能从单句描述中加工出多个版本，适合比较好视图与坏视图的差别。

研究人员使用相同的文本编码器和描述语料，分别训练好视图 JEPA、坏视图 JEPA，以及下一 token 预测模型，再与独立训练的视觉编码器比较。

怎样判断它们是否学到了相近的结构？一种办法是比较各自选出的「邻居」。对于同一批图文样本，视觉模型为图片找出相近的图片，文本模型为描述找出相近的描述。如果两边选出的邻居经常对应，就说明它们组织这些场景的方式比较一致。论文使用的 mutual 10-NN 指标，衡量的就是这种邻域重合程度。

结果显示，好视图 JEPA 得到的文本表征，与视觉表征更一致

在 Flickr30k 实验中，好视图 JEPA 在邻域重合程度及旋转映射后的图文检索指标上均领先。

不过，好视图训练还使用了一个额外信息：哪些描述属于同一张图片。提升会不会主要来自这层关联？

为此，作者将同一图片的两份描述拼接起来，交给下一 token 预测模型学习，结果提升仍然很小。这说明，提供相关描述之后，还需要考虑怎样用它们训练：将两份描述放在一起续写，与直接要求它们形成相近表征，带来的效果并不相同。

接下来的问题是，这种优势能否扩展到规模更大、来源更复杂的网络文本。

团队采用 Recap-DataComp 数据，其中每张图片对应原始替代文本，以及 LLaVA 生成的两份描述。这些文字提供了同一图片的多个视图，文本模型在训练中读取文字。

在这里，作者进一步比较了达到相近对齐水平所需的训练样本量。使用相同的 1.09 亿参数编码器、同一语料来源，好视图 JEPA 处理 2160 万训练样本后，取得了 0.109 的 WIT 对齐分数；下一 token 预测处理 9 亿样本后，取得 0.111。

两组已评估结果的分数接近，样本量相差约 42 倍。由于好视图训练每个样本读取三份文本，按实际读取的文本 token 计算，差距约为 14 倍。这将训练方式的影响落实到了数据利用效率上。

那么，继续扩大训练，好视图 JEPA 能达到什么水平？

团队使用 9.4 亿张网络图片对应的文本，将 1.09 亿参数模型的训练扩大到 9 亿样本。在 WIT-1024 基准上，以 DINOv2-B 为视觉参照，默认配置的三次训练取得平均 0.184 的对齐分数，高于 Qwen2.5-72B 的 0.154，以及 Llama-3-70B 的 0.151。

这就是「1.09 亿参数超过 720 亿」对应的具体结果：小模型学到的文本邻域结构，与这个独立训练的视觉模型更加一致。

同规模的对照再次体现了训练方式的作用。使用相同编码器、相同文本和相同训练样本数，下一 token 预测得到 0.111，坏视图 JEPA 为 0.088，均低于好视图 JEPA 的 0.184。将视觉参照换成 CLIP，或改用 COCO 测试集，好视图 JEPA 仍保持领先。