1位菲尔兹奖得主+12位博士,这些俄罗斯数学家训出了顶级AI

栏目:互联网 | 来源:机器之心Pro | 2026-09-06 20:25

最近,在 ARC Prize 2026 的 Kaggle ARC-AGI-3 竞赛排行榜上,杀出了一匹黑马 —— 一个名叫「Mostik」的俄罗斯初创。

ARC-AGI-3 被认为是目前最接近「测试 AI 真正智能」的一类挑战。它不像传统 benchmark 那样给模型一道道题,而是把 AI Agent 丢进一个完全陌生的二维交互世界:没有说明书,没有规则提示,Agent 只能靠不断尝试,摸索环境规律,建立自己的世界模型,最终找到通关方法。

「Mostik」这支团队此前几乎没什么名气,如今做出来的模型却一度冲到了Kaggle ARC-AGI-3 排行榜第一(当前第二)。更离谱的是,他们只用了四个月,团队里有 12 位博士和一位菲尔兹奖得主。

Mostik 究竟怎么做到的?他们暂时不肯透露参赛系统的细节,理由很简单:比赛还在进行,他们想赢。

团队公开了另一项更有意思的实验。他们让两个 AI 模型跳过文字,直接交换内部的数学信息,像是给机器装上了一套「心电感应」。

实验的一端是 GLM-5.2,参数量达到 7530 亿;另一端是只有 40 亿参数的 Qwen-3.5,可以在移动设备上运行。Mostik 在两个模型之间搭了一座「桥」,让大模型读取问题、完成思考,再把内部状态交给小模型,由小模型生成最终答案。

整个过程中,大模型不用把推理过程写成文字,小模型也不用重新阅读和理解一大段提示。两个来自不同公司的模型,就这样在更底层的数学空间里接上了。

结果相当醒目。这套混合系统的运行成本只有完整 GLM 模型的二十分之一,表现刚好落在两个模型之间,相当于小模型补上了与大模型之间一半的能力差距。

Mostik 的名字也来自这里。在俄语中,它的意思是「小桥」。

为什么这套系统有效?Mostik 在最近的官方博客中给出了一些解释。

AI 以前的合作方式,损失太大了

让多个 AI 一起工作早就不算新鲜。现在常见的多智能体系统,通常由一个模型先输出答案,另一个模型读完后继续处理,像几位同事通过邮件传递工作。

问题出在这封「邮件」上。模型内部可能已经进行了大量计算,真正输出时,只能把其中一小部分压缩成文字,许多信息也随之丢失。

Mostik 在官方博客里算了一笔很有意思的账。

一个语言模型为了生成一个 token—— 可以粗略理解成一个词或词片段 —— 内部会形成一百多个隐藏向量,涉及大约一百万个数值。这些数值记录着模型此刻对问题的理解、正在考虑的概念,以及它准备如何组织后面的内容,总量接近 2MB。

真正输出时,模型只能从大约 15 万个候选词中选出一个。换算下来,离开模型的有效信息只有 17 比特,之前形成的 2MB 内部状态随即被丢掉。

Mostik 给了一个很形象的说法:一个在上千维空间里思考的系统,最后只能通过钥匙孔和另一个系统说话。官方博客认为,今天的编程智能体、模型委员会和各种多智能体系统,基本都卡在这个「钥匙孔」上。

到底损失了什么?

人们过去常把隐藏状态理解为一种临时脚手架:模型内部算完了,最后吐出来的词才是成品。近两年的可解释性研究显示,这个理解有些低估了模型内部发生的事情。

Mostik 在博客里提到一个关于英语冠词的实验。模型要在「a」和「an」之间做选择,必须提前知道后面准备写什么名词;研究人员发现,Qwen-3 在真正输出「accountant」之前的几个位置,内部已经出现了对这个词的表征。

模型体量越大,这种提前形成但没有写出来的信息越丰富。换句话说,大模型在落笔之前,已经悄悄准备了一部分后文。

Anthropic 的研究人员也观察到类似现象。Claude 3.5 Haiku 写诗时,会先在内部确定一句话末尾的押韵词,再朝着那个词把前面的句子写出来。

另一项研究还发现,模型内部会短暂保留一小组尚未说出口的概念。研究人员可以要求模型「记住」其中一个概念,即使它接下来生成的文字完全没有提到,这个概念仍可能继续存在于内部状态里。

这些发现指向同一件事:模型写出来的内容,只覆盖了它内部计算的一小部分。当一个 AI 把文字交给另一个 AI 时,真正损失的是形成答案的过程。

Mostik 搭了一座「桥」

Mostik 的方法并没有复杂到无法描述。一个模型完成初步计算后,把自己的隐藏状态交给一座经过训练的「桥」;这座桥进行转换,再把结果送进另一个模型。

难点在于,两个模型的内部世界并不通用。它们由不同团队开发,训练数据、参数规模和架构都有差异,同一个概念在各自的数学空间里可能长得完全不同。

Mostik 首席科学家 Stanislav Smirnov 是日内瓦大学教授,也是 2010 年菲尔兹奖得主。他坦言,人们至今没有找到一套合适的数学语言,能够统一描述不同模型的内部表达。在此过渡阶段,Mostik 的切实填补了这一 gap。

Mostik 团队最先研究的,正是这些内部空间的几何结构。他们发现,模型能力变强,并不会自动让彼此的内部表达更接近;不过,不同模型之间确实存在一部分可以预测的共同结构,只要找到对应关系,就有机会完成翻译。

这座桥是系统中唯一需要训练的部分。两边的模型都保持冻结,原有权重不用修改,也不需要为了配合对方再做一轮微调。

这个设计很关键。它意味着 Mostik 无需拆开两座已经建好的房子,只需要在中间铺一条通道;以后更换其中一个模型,理论上也只需重新解决这段映射关系。

「桥」的效果如何?

Mostik 公开的实验连接了两个中国开源权重模型。一边是拥有 7530 亿参数的 GLM-5.2,另一边是只有 40 亿参数、可以在移动设备上运行的 Qwen-3.5。

两个模型的分工很特别。GLM 负责读取问题,在内部完成一轮计算,然后直接停下来;它不生成答案,隐藏状态通过桥传给 Qwen,逐字写出答案的工作全部由小模型完成。

这样安排,是因为模型「读」和「写」的成本并不对称。读取一段提示词可以进行大量并行计算,生成答案却要一个 token 接一个 token 往外吐,后者往往更慢,也更烧钱。

大模型在这套系统里像一位收费昂贵的专家。它看完材料后,把判断直接交给助手,不再花时间写一份完整报告;真正耗时的文字工作,由运行成本更低的小模型处理。

根据 Mostik 公布的数据,接上桥之后,Qwen 补上了自己与 GLM 之间 50% 的性能差距,整体准确率提升约 25%。在两者能力差距更明显的高难度任务中,小模型的成绩最高达到原来的两倍。

还可以换一个角度理解这组数据。假设存在一个中型模型,成绩正好和这套混合系统相当,运行 Mostik 组合所需的计算量只有它的约四成,也就是节省了 60%。

这组数字和「成本只有完整 GLM 的二十分之一」并不冲突。二十分之一比较的是让 7530 亿参数的 GLM 独立完成整个任务;2.5 倍的算力优势,比较的是一个成绩相当的中型模型。

目前这些实验结果主要来自 Mostik 自己的技术披露。详细训练方法、测试集构成和复现实验尚未完整公开,ARC-AGI 3 参赛系统的细节也处于保密状态,因此它的通用性还需要更多外部验证。

交接越早,这座桥越有优势

Mostik 还把这种「隐藏状态交接」和传统的文字交接放在一起测试。两种方法都让大模型先处理一部分问题,然后把工作转给小模型,区别在于传过去的是已经写出的文字,还是大模型当时的内部状态。

在 Mostik 测试的各个计算档位上,隐藏状态交接都取得了更好的性能,最高领先 10 个百分点。大模型越早把任务交出去,这种优势越明显。

原因并不玄妙。任务刚开始时,大模型虽然还没有写下任何内容,内部已经形成了对问题的初步理解;采用文字交接,此时几乎没有东西可以传,隐藏状态却已经装着不少信息。

随着大模型继续计算并写出更多文字,两种方法的差距会逐渐缩小。那些原先藏在模型内部的判断,开始通过文字显露出来,但隐藏状态方案在整个过程中仍保持着更好的性能与算力比。

这座桥还能用来观察 AI

Mostik 认为,这项技术还有一层更远的价值:它可能给人类提供一个观察模型内部的新入口。

现在常见的方法,是检查模型写下来的思维链。但模型说出口的推理未必完整,有些内部判断不会出现在文字里,一些异常行为也可能绕过思维链监控。

隐藏状态的传递过程提供了三个可以对照的对象:发送模型原本的状态、经过桥翻译后的状态,以及接收模型最终表现出的行为。研究人员可以记录这三者,查看哪些信息在翻译中被保留,又有哪些内容真正影响了后面的答案。

更重要的是,人们可以动手干预这条通道。假如修改某个特征后,接收模型的行为也稳定地发生变化,研究人员就有理由判断,这个特征确实参与了模型决策。

这比单纯把隐藏状态翻译成人类语言更可靠一些。翻译器可能编出一段看似合理的解释,干预实验关注的则是因果关系:动了哪里,模型才变成这样。

Mostik 自己也很谨慎。他们尚未证明这座桥已经是一种成熟的可解释性工具,只是认为,有了两个模型内部空间之间的映射,人们第一次多出了一块可以测量和干预的区域。

下一步,是让模型从训练时就学会合作

眼下的实验,是在两个已经训练好的模型之间搭桥。Mostik 接下来想把这条通道提前到训练阶段,让模型从一开始就习惯和另一个模型配合。

第一个方向是知识蒸馏。传统蒸馏中,学生模型通常只能看到教师模型准备输出什么;如果把隐藏状态通道放进生成过程,教师模型就能在学生写答案时持续提供内部信息,像有人在一旁实时指导,而非等交卷后再打分。

Mostik 称,早期信号显示,在相同训练预算下,这样培养出来的学生模型能更贴近教师模型。目前实验仍在进行,还没有足够证据判断效果能否稳定扩展。

第二个方向是专业化。小模型在保持原有通用能力的同时,可能通过这条通道更快学会某项窄领域技能。

这意味着,为大模型增加新能力时,未必每次都要重训整个系统。以后可以外挂一个针对生物、物理、法律或代码训练的小模块,让它通过隐藏状态与通用模型协同工作。

而且,一座桥并不只能连接两个模型。同样的机制可以扩展到更多模型,让它们在训练过程中交换各自掌握的信息,逐渐形成一套彼此交织的系统。

下一个强大的 AI,可能是一群模型

过去几年,AI 主要沿着两条路线扩张。预训练阶段增加数据和参数,让模型记住更多世界知识;推理阶段投入更多计算,让模型学会规划和解决复杂问题。

Mostik 押注的第三条路线,是模型之间的协作。单个模型不必包揽所有能力,只要它们能高效交换信息,一群体量适中的模型也可能拼出接近前沿模型的效果。

这对开源生态尤其有吸引力。开源世界里分散着大量能力不同的小模型,如果它们可以和强模型共享隐藏状态,竞争力就不再只取决于某个模型有多少参数。

Mostik CEO Sasha Malysheva 曾用「猜一头猪有多重」来解释自己的想法。一群普通人的估计汇总起来,有时比一位专家更接近答案。她相信,AI 的能力也可能来自许多模型的共同判断。

Mostik CEO Sasha Malysheva。她是强化学习博士,之前曾在 DeepMind、Google X 工作。

当然,这座桥离大规模应用还有不少问题。不同架构能否稳定连接、桥的训练成本有多高、隐藏状态如何跨公司安全传输、闭源模型是否愿意开放相关接口,都没有现成答案。

但 Mostik 已经提出了一个很难忽略的问题:如果大模型内部真正有价值的东西远多于它写出来的文字,我们为什么还要让 AI 只靠文字互相交流?

也许下一个更强的 AI 不会长成一个无比庞大的超级大脑。它更像一群各有所长的模型坐在一起,表面上一句话都没说,事情已经商量完了。

参考链接:https://mostik.ai/read-more

https://www.wired.com/story/russian-startup-mostik-ai-models-communication/?_sp=586af67b-edb2-4262-b013-984a090473cb.1788399114585

了解更多

猜你想看

← 返回首页