

混元在Reddit摊开了自己的路线。
作者|王丽霞
编辑|刘景丰
11月20日,腾讯正式开源Hy4大模型,并将模型权重同步至GitHub、Hugging Face、ModelScope 和 GitCode四个平台。
次日凌晨,包括腾讯首席AI科学家、混元大模型负责人姚顺雨在内的腾讯混元团队多位成员,在Reddit的开源大模型社区 r/LocalLLaMA 举办了一场AMA(Ask Me Anything),邀请社区成员与团队一同讨论模型建构过程、推理速度与成本及真实应用场景等。

图片来源:Reddit社区
这是腾讯混元团队首次在Reddit进行集中交流。自11月4日混元Hy4模型和11月16日发布Hy4 Flash以来,混元对外发声也越来越多。如11月18日,姚顺雨就前往清华姚班,与学弟学妹们进行技术、商业等方面的交流,被多家媒体报道。
此次讨论长达两小时,姚顺雨和混元团队回答了100多个问题,核心围绕对模型大小、MoE稀疏性、刷榜评测、多模态以及RSI等行业关心话题的思考。
姚顺雨过去的许多想法,如今已逐渐凝聚为团队共识。如果以合唱做类比,透过这次9名团队成员的问答可以看到,混元已不再需要姚顺雨以“独唱”维持对外表达的一致性,多名成员已经能够在各自声部中唱出同一旋律。
尽管此次讨论时间并不长、回答的内容也比较精简,但这场偏技术的交流,也从许多方面呈现混元团队的思考。
⌈甲子光年⌋根据此次AMA的讨论内容,整理如下观点。
1.模型大小,要有不同分工
这次AMA中,混元团队再次解释了自己与行业模型参数之间的距离。
Hy4发布后,在Artificial Analysis智能指数里排中国模型第二,在Agent Arena排开源模型第一。不过它的模型参数只有770B(7700亿),相比之下,字节跳动、Kimi的模型在往3万亿、甚至5万亿参数推进。
团队的回答很直接:Hy3和Hy4已经表明,做得扎实的小模型也能超过更大的模型。它们的成本也更低,而且在这个过程中,团队能学到更多、收获更多。
但这不等于放弃Scaling。团队表示,下一代模型的规模“肯定会大幅扩大”,但没给具体数字;目前,混元正一边投入更大规模的强化学习、准备训练更大的模型,一边继续发展Hy4-mini、Flash-Lite和端侧模型。Hy4-mini已经进入路线图,24B—31B稠密模型和Hy-27B也在考虑之中。面对社区对本地部署的需求,团队还确认,未来会有更多小模型,并覆盖24GB显存、64GB—128GB内存等不同硬件条件。
这条路线与姚顺雨在清华姚班的表述基本一致。他批评行业过度追求“几万亿参数、几万亿Tokens”,认为可量化指标的重要性已经超过了“怎么把事情做正确”。但他并不否认大模型的价值:大模型可以承担更复杂的任务,却也意味着更高的成本;未来可以利用大模型蒸馏出不同尺寸的小模型,让普通任务在端侧完成,困难的数学、科学问题再调用云端大模型和超级算力。
因此,混元选择的并非“大模型还是小模型”的单一路线,而是一套分层体系:大模型负责探索能力上限,Flash、Mini和端侧模型负责把能力带入成本更低、调用更频繁的真实场景。
2.MoE架构,不是越稀越好
此次AMA里,有一段技术含量颇高、也是此前外界很少听混元讲过的内容,关于模型架构稀疏度。
一位开发者算了一笔账:Hy4 Flash的激活参数占比是7.7%,Qwen3.8-Flash是 4.8%,DeepSeek V4.1则只有 2.9%。他问,混元为什么不做得更稀疏一点?
团队的回答分了两层。在激活参数固定的前提下,提高稀疏度确实能提升效率;但如果总参数不变、硬砍激活参数,比如把12B激活砍到8B甚至5B,模型质量会明显下降。像“总参数2000亿、激活只有30亿”这种过度稀疏的设计,会吃掉大量显存,算力却用不满,对推理反而不友好。
至于砍激活参数时什么最先坏掉,团队的预判是:推理深度、长上下文追踪和工具调用的可靠性。
这些取舍最后落到了Hy4 Flash的结构上。它沿用了Hy4 的iHC、门控MLA和DSA,新加了混合滑动窗口注意力(SWA)、LatentMoE和Engram。仅SWA一项,就把KV缓存压到了原来的1/4,直接降低推理成本。团队还解释了为什么在GQA和MLA之间最后选了后者:同样的KV缓存下,MLA质量更好,它计算强度高的问题,引入DSA之后也得到了缓解。
端侧则是另一套思路。Strix Halo、DGX Spark这类设备内存带宽较低,混元会专门为端侧GPU设计架构,而不是把云端模型直接缩小。
3.不刷榜之后,拿什么证明自己?
参数量之外,姚顺雨重点调整的另一个环节是评测。
在清华姚班的对谈中,他将行业普遍存在的问题概括为“指标量化崇拜”:模型参数量、榜单分数和算力利用率都容易写进汇报,但清洗一批错误数据、修复一个底层Bug,短期内未必能让数字变得更好,却可能真正影响模型质量。
在姚顺雨看来,评测原本应该帮助团队发现模型的弱点;但实际中,一旦围绕测试集反复调参和刷分,评测就会失去诊断作用,“把自己的雷达弄瞎”。因此,混元内部的核心测试集只测试一次,随后封存,不再围绕同一套题持续优化。
AMA里,这套思路被问到了具体的地方。有人质疑,为什么Hy4不公布GPQA Diamond、SWE-bench这些常见基准的成绩?团队的解释是,这些老基准已经接近饱和,区分不出模型强弱了。他们展示的是Agents’ Last Exam、ProgramBench这类更新、更难的测试。至于第三方排行榜,团队的态度是:没有哪个网站能决定一个模型在真实世界里有没有人用,判断模型要把内部基准、公开基准、第三方评测和真实用户反馈放在一起看。
与此同时,腾讯也开始利用自己的产品矩阵,为混元建立一套更贴近真实任务的评价体系。Hy4已经进入QQ小Q、微信读书、企业微信、腾讯新闻、《和平精英》和ima等产品,接受搜索、阅读、复杂信息检索、新闻问答、AI NPC和推理等不同场景的检验。
新模型能力也体现在这次AMA部分评论中,有开发者用Hy4-Flash完成Agent编程、PR审查、开发环境管理及多种编程语言任务,认为其完成速度和工具调用效率具有优势。一位做计算生物学的提问者说,他用Hy4 Flash做分子对接测试,部分工具调用场景的表现甚至超过了Claude Sonnet和Haiku 5.5。团队确认,目前Hy4和Hy4 Flash已经在OpenCode、Claude Code、Cline等编程工具里被使用。
4.图像、视频和本地部署也在推进
这次AMA还透露了一个信息,混元接下来不会只更新旗舰模型。
Hy4-Flash仍会持续迭代,团队正在同时优化Flash级模型的预训练和后训练方案。与其不断发布彼此割裂的新模型,混元更希望通过强化学习和蒸馏,继续改善现有Flash模型的能力、速度和成本。
多模态方面,面对HunyuanImage 3.0体量过大、本地部署困难的问题,团队表示正在考虑更小的图像模型, 以及视频模型也在尽快研究中。翻译模型Hy-MT即将升级,中文网文、仙侠小说等更具体的翻译需求也被纳入考虑。
在开源和本地部署方面,团队给了明确答复:目前会继续开源,类似规模的开放权重模型也会继续发。混元还在推进Strata、llama.cpp等推理框架的适配,并与vLLM、SGL等社区合作。团队目前仍在继续吸收社区对模型尺寸、量化版本和部署方式的反馈。按团队的说法,让模型在家用设备上跑起来,是他们想走的方向。
由此来看,混元正在补齐一整套产品线:更大的基础模型、持续迭代的Hy4-Flash、更小的Mini和Flash-Lite,以及图像、视频、翻译等不同模态的模型。
5.对RSI祛魅,
但保留AI for AI的想象空间
对于近期受到关注的RSI(递归自我改进),混元团队的态度相对克制。团队表示,当前RSI能力仍处于早期阶段,且已经建立若干内部基准,用于评估RSI的关键能力。现阶段更重要的仍是打牢基础、提高模型智能,并与产品紧密结合,改善实际用户体验。
姚顺雨在清华姚班的表达更直接。他认为,RSI本质上只是“怎么用AI更好地开发AI”,真正的进步并不来自概念炒作,而是来自修复Bug、清洗数据和改进实验的人。
不过,他同时认为,RSI或者AI for AI会为小模型带来较大帮助。大模型可以参与数据生成、数据筛选、代码改进和实验验证,再将能力蒸馏给不同尺寸的小模型。决定蒸馏效果的关键,也并不是某一种固定技术,而是团队能否判断什么是真正的好数据。
归根到底,模型规模、榜单分数和热门概念都只是手段,最终仍要回到真实任务、用户体验和成本效率上。
总体来说,这次AMA里没有太多宏大的技术宣言,成员的回答甚至显得克制:有些方向仍在考虑,有些能力尚处早期,有些产品只能“敬请期待”。但在参数规模、模型评测、成本效率和RSI等问题上,他们呈现出了一套相对一致的判断。
这恰好呼应了当下大模型竞争的变化。随着模型能力逐渐接近、开源权重加速流通,行业的比较标准正从参数和榜单,转向成本、稳定性、部署门槛以及真实任务中的完成效果。模型发布不再是比赛的终点,能否进入产品、接受用户检验,并根据反馈持续迭代,才是更漫长的考场。
当然,一次开源和一场AMA还不足以证明混元已经赢得竞争。小模型路线能否兑现,新的评测体系能否真正摆脱自说自话,腾讯庞大的产品生态又能否顺利转化为模型能力,仍需要等待后续的回答。
(封面图来源:「甲子光年」设计)