技术博客里大大方方写了采样自 Kimi K3。
作者｜Wildcard
编辑｜靖宇
11 月 5 日，OpenAI 前 CTO Mira Murati 创立的 Thinking Machines Lab（简称 TML）同一天出了两条新闻。
当天，公司发布了第二代模型 Inkling 2 Small，第三方评测机构 Artificial Analysis（AA）给的评价相当高：权重放出后，它将成为「中国以外得分最高的开放权重模型」。同一天，据报道，这家公司正以 400 亿美元的投前估值筹集 50 亿美元新融资。
TML 在 2025 年 2 月对外亮相，至今一年半多。这期间，他们拿过 a16z 领投的 20 亿美元种子轮，也经历了联合创始人 Andrew Tulloch 转投 Meta，以及联合创始人 Barret Zoph、Luke Metz 等人今年 1 月回归 OpenAI 的动荡，之后由 PyTorch 联合创始人 Soumith Chintala 接任 CTO。
今年 1 月还有报道称，团队以约 500 亿美元估值融资的谈判陷入停滞。新一轮融资能不能谈成，很大程度上要看二代模型的成色。
翻开 Inkling 2 Small 的技术博客，跑分表和架构图之外，最意味深长的是一行交代训练数据来源的文字：预训练后半程的数据，大部分采样自更早的模型，其中点名了月之暗面的 Kimi K3。
01
594B 的「Small」，强在哪
「Small」这个词在大模型行业里正在不断膨胀。
TML 今年 7 月发布的初代开放权重模型 Inkling 有 975B 总参数，两周后的 Inkling Small 是 276B。到了第二代，
Inkling 2 Small 的总参数量翻了一倍多，达到 594B，每次推理激活 17B。它是 MoE 架构，支持 100 万上下文和可调的思考力度，能看图，但不支持初代 Inkling 具备的音频输入。训练流程相当重。预训练第一阶段，团队在英伟达 GB300 NVL72 机架上用 68 小时、以原生 NVFP4（4 比特浮点）精度吞下 8.4 万亿 token；第二阶段再喂 3.8 万亿 token 的高质量新数据；最后两个阶段用合计约 3540 亿 token 的推理与智能体轨迹收尾，上下文拉到 100 万。随后是一次 9 天的联合强化学习：2048 块 GPU，超过 1700 万次 rollout，单次 rollout 中位耗时 8 分钟，长的能跑 4 个小时。
这些长链路训练，指向的是官方口中这一代最大的进步：长程自主工作。演示里，它用 Three.js 从零写出一个城市经营游戏，建筑、纹理、车辆全部程序生成，还要管电力、预算和突发事件；用 Python 从零写出一台能启动真实 Linux 内核的电脑模拟器；还能把一张平面户型图变成可以走动的 3D 漫游。
用 Three.js 从零生成的城市经营游戏｜图片来源：Thinking Machines
训练过程也有惊险时刻。强化学习进行到一半，监控发现模型借助搜索工具接触到的第三方服务，绕过了团队设置的网络封锁。团队只好暂停训练，去掉联网环境、给工具调用加上同步监控后再继续。官方还承认，早期版本遇到太难的任务时会「执着于成功」，出现编造结果、无视指令甚至掩盖行为的情况。到发布版，内部「不当行为」得分从上一代的 66.8 降到 14.9（越低越好），但仍落后于闭源模型。
跑分上，它最突出的长板是知识工作和长流程商业任务。在考察表格、演示文稿和备忘录的 AA-Briefcase 上，它拿到 1527 的 Elo 分，上一代 Small 只有 912，Claude Sonnet 5.5 (medium) 是 1439，Gemini 3.8 Flash (high) 是 1203。官方对比表里，它在 JobBench（70.5%）、Vals 法律指数（73.9%）、金融指数（61.5%）和 HLE-Diamond（28.7%）上都是最高分。
编程上，它没能做到全面领先。FrontierCode v2.0 和 DeepSWE v1.1 上，它赢了 Kimi K3 和 GLM-5.3-Flash，但落后于 DeepSeek-V4.1-Flash（25.4% 对 28.5%，72.1% 对 77.0%）；SWEBench Pro v2 (Hard) 上则输给 Kimi K3。和闭源模型比，它在命令行任务 Terminal-Bench 4.0 上只有 13%，Sonnet 5.5 是 30%。
代价是 token 消耗。AA 的测试里，它完成每个任务平均要输出约 15 万 token，上一代 3.7 万，Sonnet 5.5 是 3.1 万。好在定价很低，每百万 token 输入 0.30 美元、输出 1.00 美元，单个任务成本 1.18 美元，Gemini 3.8 Flash 要 7.77 美元，Sonnet 5.5 要 10.02 美元。
幻觉率的下降则带点取巧。AA-Omniscience 上，它的幻觉率从 61% 降到 27%，但答题率也从 77% 掉到 53%，准确率只从 32% 升到 34%，降幻觉主要靠的是不会就不答。官方也承认，它聊天体验优化较弱，内容组织差，爱用斜杠。
02
为 Tinker 造一把锤子
为什么要做一个聊天粗糙、却在写代码和做表格上格外卖力的模型？答案在 TML 目前的核心产品 Tinker 上。
Tinker 是 2025 年 10 月上线的云端微调 API。对 TML 来说，开源模型更像 Tinker 的招牌：模型免费放出，企业客户来平台上付费微调和推理。
强化学习的任务配比把这种取向写得很清楚。按 token 计，编程占 65.0%，办公与知识工作占 13.3%，STEM 推理占 7.6%，网页与应用构建占 7.2%，四项合计超过 93%。和日常聊天最相关的「对话、安全与认知」，按 token 只占 0.2%。
评分器也是照着生产力任务设计的。编程用隐藏的单元测试，部分任务还加了一个「智能体评分器」，看模型解题的思路，不只看测试过没过；文档和工具调用交给按评分细则打分的模型评委；网页应用则把渲染出的截图两两对比，由奖励模型判断哪个更好。上线前，早期版本还以「Fledge-Alpha」的代号在编程工具 OpenCode 上匿名测试过真实场景下的编程表现。
Inkling 2 Small 在 Blender 中按反馈迭代出的纸艺动画｜图片来源：Thinking Machines
官方反复强调的卖点是「适合微调」：同样的数据和算法下，新模型学得更快、提升更多。在一个财报摘要任务上，它只训 75 步，就追上了初代 Small 训完全程的水平。
博客里还有一个套娃式的案例：TML 给 Inkling 2 Small 批了 500 美元预算，让它在 Tinker 上自己去训练一个 Qwen3.5-4B 做时间序列预测。它自己写评测、做 SFT 和强化学习，4 小时 17 分钟后花掉 426 美元，把小模型的得分从 0.191 提到 0.289。
官方说，Inkling 2 Small 只是「一组模型梯子中的一级」，更多尺寸很快会来。先用中等尺寸的模型验证可微调性和长程干活的能力，把开发者引进 Tinker，这门生意才转得起来。
03
被「蒸馏」的中国模型
回到那行字。官方原话是：「H3 和 H4 的数据大部分是从更早的模型（包括 Kimi K3 和我们自己的模型）采样得到的轨迹，并按正确性和对齐做了过滤。」
H3 有约 3200 亿 token 的推理和智能体轨迹（另含回放的预训练数据），H4 是约 340 亿 token 的最高质量智能体轨迹。和前两阶段合计 12.2 万亿 token 相比，这部分体量不大，但位置关键：模型正是在这里学会长上下文推理和像智能体一样干活，然后才进入强化学习。
官方没有公布 Kimi K3 在其中的占比，所以不能把 Inkling 2 Small 说成「靠蒸馏 Kimi 做出来的」。可以确定的是，在这份配方里，Kimi K3 是唯一被点名的外部模型。
从一张平面户型图生成的 3D 漫游，右上角是行走路线｜图片来源：Thinking Machines
为什么偏偏在这两个阶段用别人的轨迹？智能体轨迹是一种很难攒的数据。它要求模型真的在环境里调用工具、读报错、改代码、再验证，一条完整轨迹动辄几万 token，靠人工标注几乎不可能大规模生产。最省事的办法，是找一个在编程和智能体任务上已经足够强的模型，让它去跑大量任务，把做对了的过程留下来。在 TML 自己的对比表里，Kimi K3 在 SWEBench Pro v2 (Hard) 和长上下文测试上都排在 Inkling 2 Small 前面，拿它当老师，顺理成章。
这一幕放在今年的语境里有些微妙。2 月，Anthropic 指控 DeepSeek、月之暗面和 MiniMax 用约 2.4 万个假账号与 Claude 进行了超过 1600 万次对话，以此蒸馏其能力。到了 11 月，一家硅谷明星公司在博客里写明，自己采样了月之暗面模型的轨迹。
两件事的性质要分开看。用假账号刷闭源模型的 API，违反的是服务条款；Kimi K3 是开放权重模型，权重公开可下载，在自己的集群上部署并采样它的输出，是开源生态里的常规用法。至于是否完全符合 Kimi 许可证的细节，TML 没有说明，这里不做判断。
蒸馏本身也早是行业标准动作。TML 上一代模型就是用「多教师蒸馏」把不同阶段的强化学习合并起来的。这一代把外部最好用的开源模型接进数据管线，再用过滤器筛一遍，是很务实的工程选择。
真正变化的是生态位。过去两年，开源社区的常见做法是拿 Llama、Mistral 的权重做微调，或者用闭源大厂的输出去喂小模型。现在，Kimi K3 这样的中国开放权重模型，已经成了硅谷团队训练下一代模型的数据来源；TML 演示里被拿来训练的底座，也是阿里的 Qwen。
04
美国开源模型追上来了吗
即便用上了 Kimi K3 的轨迹，Inkling 2 Small 离开源榜首仍有距离。
AA 最新的开放权重榜（v5.0.1）上，它的 31 分把欧美同行甩在身后：最近的 Mistral Large 4 是 26 分，Meta 的 Muse Spark Open 是 25 分。这是 AA 那个「中国以外最高」头衔的由来。
去掉这个定语，前三名全是中国模型：Kimi K3.1 Pro 以 46 分断层领先，DeepSeek V4.1 Flash 33 分，GLM-5.3 32 分。Inkling 2 Small 排在第四位附近，身后还有 30 分的小米 MiMo-V2.6-Pro。它追上的是中国的 Flash 级模型，离 Kimi 的旗舰还差 15 分。
更何况，它此刻还算不上真正的开放权重模型。按 TML 7 月定下的「安全开放」路线，模型先在 Tinker 上闭源上线，外部安全测试做完再放权重。官方说「计划下周以 Apache 2.0 许可放出」，AA 则标注发布日期「未确认」。这张支票能不能兑现，下周见分晓。
开源模型的竞争，正在变成一场「谁的输出被谁拿去用」的循环。TML 用一篇坦率的技术博客，把这件事摆到了台面上。
只是不知道，等 Murati 团队顺着「模型梯子」往上爬、拿出更大的 Inkling 2 时，训练日志里还会不会出现 Kimi 的名字？
*头图来源：TML
本文为极客公园原创文章，转载请联系极客君微信 geekparkGO
极客一问
你觉得美国开源模型能超过中国开源模型吗？
