
RSI,可能是 AI 世界里最像科幻的一个词。
在最强的版本里,你只需要对一套系统说一句 “做一个更好的自己”,它就能提出新想法、搭建训练流程、验证结果,最终交付一个能力更强的继任者。随后,新模型再次重复这个过程,智能由此进入自我加速的循环。
这个图景还没有成为现实。但过去几个月,围绕递归自我改进(Recursive Self-Improvement,RSI)的讨论,已经从 “会不会发生” 转向一个更具体的问题:今天的 AI,究竟已经接管了 AI 研发循环中的哪些部分?
Anthropic 联合创始人 Jack Clark 在今年 5 月给出过一个激进判断:到 2028 年底,无人参与的 AI 研发有 60% 以上概率出现;他同时承认,近期更可能先看到非前沿模型层面的端到端训练样例。Allen Institute for AI 的 Nathan Lambert 则提出 “有损自我改进”:AI 会进入模型研发核心,但数据、算力、组织协调和系统复杂性会让飞轮持续损耗,很难形成无摩擦的指数爆发。
现在,一支来自人工智能学院、深势科技、无尽前沿与新加坡国立大学的联合团队,给出了一个很适合放进这场争论的样本。
团队让 Agent(Codex GPT-5.6-Sol)主导一个 27B 工业 Coding 模型的开发:从数据演化、SFT 冷启动,到同策略自蒸馏和可验证奖励强化学习,Agent 负责选择实验、诊断失败,并反复修改训练策略。同时,人类专家提供目标、权限边界、训练 SOP 和可信验证器。最终得到了一个在工业 Coding 能力排名前列的模型,名为iCoder-27B。

- 论文标题:Recursive AI-Led Development of Frontier Industrial Coding Model
- 项目主页:liunanfu1992.github.io/iCoder-site
- 论文: huggingface.co/i-Coder/iCoder-27B/blob/main/Coder_Tech_Report.pdf
- GitHub:github.com/bingreeky/iCoder
- Hugging Face:huggingface.co/i-Coder
27B,先挤进工业 Coding 第一梯队
工业 Coding 与日常所说的代码生成,并不是同一类问题。
生成 RTL,模型需要把自然语言规格转换成满足时序、复位、状态迁移和层级约束的电路描述;生成 GPU Kernel,则不仅要保证数值正确、能够编译运行,还要真正利用硬件获得加速。代码 “看起来合理” 没有意义,只有通过仿真、编译、执行与性能测试才算完成任务。
这也是团队选择工业 Coding 作为试验场的原因:它足够难,又有真实工具链提供可验证反馈。模型不能靠语言流畅度蒙混过关。

图 1|iCoder 在四项核心工业 Coding 基准上的位置。各榜单独立排序,数据来自团队统一评测。

注:排名仅指技术报告所列模型及团队统一评测协议;不同评测设置不可直接横向外推。
与同尺寸的 Qwen3.6-27B 相比,iCoder 的 RTLLM 从 49.6 提升到 68.0,VerilogEval Spec-to-RTL 从 70.1 提升到 86.3,KernelBench L2 正确任务数则从 28 增加到 74,达到原来的 2.64 倍。
它并非每一项都领先。在 RealBench、ArchXBench 等复杂 RTL 任务上,iCoder 仍落后于部分闭源模型。但是也可以看到,团队的 AI 自进化系统可以交付一个 27B 模型,使其同时在芯片 RTL 和 GPU Kernel 两条技术栈上进入前沿模型的竞争区。
比成绩更重要:
这一次,被改进的是模型本身
今天很多 “自我进化” 系统,改进的其实不是模型。
第一类系统让固定模型反复提出和测试方案,最终得到更好的程序或算法;第二类系统会修改模型外部的提示词、工具、记忆与 Agent harness,让同一个底座表现得更好。它们都很有价值,但能力通常留在外部系统中。
更强的一步,是把经验写回模型参数,让获得的能力可以脱离原来的工作流持续存在。iCoder 属于这一层:iCoder 的 Agent 通过参与数据、SFT、OPSD 与 RLVR 等训练全阶段,让实验结论真正改变下一个 checkpoint。
项目把前沿模型开发当作一项长链路压力测试。数据选择会影响训练分布,训练策略会改变后续样本的难度,验证器漏洞会扭曲奖励,资源预算又会反过来限制哪些实验能够运行。任何一处错误,都可能沿着流水线传播。
人类没有消失,
角色却变了

图 2|人类提供 Research Skills、资源权限与模块操作;Agent 在边界内循环推进 Data、SFT、OPSD 与 RLVR。
团队采用的分工可以概括为八个字:高密度先验,低频率干预。
人类专家先把模型研发中最重要、也不适合靠昂贵试错学习的经验,写成一组可执行的 Research Skills:目标是什么,数据和评测集如何隔离,允许访问哪些资源,分布式任务怎样启动,验证器必须满足什么完整性要求,每一个 checkpoint 又怎样追溯到数据、代码和父模型。
这些 Skills 像一套研究操作系统:规定边界、提供工具、保留审计记录,但不提前决定实验结论。在这个空间内,Agent 根据真实实验结果,高频地选择、诊断和修正。比如,它可以决定数据如何变换、样本怎样筛选、教师上下文包含什么、采用哪种优化目标、奖励函数如何处理正确性与性能,以及什么时候继续、什么时候退回上一个阶段。
AI 在四个阶段自主设计数据和模型配方
1. Data:先让每一个任务都能被执行验证
RTL 与 GPU Kernel 的任务结构完全不同。前者关心模块接口、时钟、复位和行为 oracle,后者关心张量形状、数值语义与实现边界。Agent 将不同来源的种子任务统一为 “指令、参考实现、验证器” 三元组,再根据参考答案和契约状态选择不同的数据演化路线。
新任务只有经过接口检查、编译、执行、行为一致性验证、去重与难度平衡,才能进入后续训练。失败样本不会简单丢弃,它们会反过来改变下一轮的数据路线和重试预算。
2. SFT:只学基础模型完全不会、教师确实会的题
Agent 在此阶段瞄准基础模型的可验证能力缺口。Agent 先找到 Qwen3.6-27B 连续四次都失败、但 DeepSeek-V4-Pro 四次尝试中至少有一次能通过验证的任务,再保留第一条完整且验证成功的教师轨迹。最终,SFT 使用了 28,952 条验证通过的轨迹。
3. OPSD:把 “在反馈帮助下改对” 写回参数
SFT 之后,Agent 继续寻找一种更微妙的失败:模型裸答仍然错误,但如果给它修复方向、此前的错误回答和验证器反馈,它可以在后续轮次改对。共有 1,874 个任务进入这一阶段。
同一个模型由此拥有两个视角:学生只看原始问题;教师额外看到经过审计的计划、失败记录和粗粒度反馈,但看不到最终正确答案。目标是把临时上下文里出现的自我纠错能力,转化为裸上下文下也能调用的参数能力。
研究 Bet:OPSD 是 SFT 与 RL 之间一道不错的甜点
由于性能增益相对不够稳定,OPSD 范式 在研究社区中一直受到广泛质疑。但该团队坚持一个研究判断:只要特权上下文设计得当,OPSD 就能在 SFT 与 RL 之间形成一个实用的甜蜜点,快速修补模型的能力缺口,并为后续 RL 优化打下更强的基础。这种作用过去很少进入前沿模型的核心训练流程。
所以在这次实验中,团队将这一判断作为研究先验提供给 Agent;由 Agent 主导的 RSI 循环进一步把这项押注转化为一套有效的训练方案,取得了令人满意的性能增益,也形成了可供未来模型训练参考的实践方案。
4. RLVR:让编译器、仿真器和真实执行结果接管奖励
RLVR 阶段使用 13,212 个分层的可验证任务。随着策略更新,Agent 会重新估计每个任务的成功率,把数据划分为前沿、探索、近掌握和已掌握四层,让训练始终贴着正在移动的能力边界。

图 3|RLVR 训练动态:六个验证后端的平均 pass@1 从 45.8% 上升至 54.3%;KernelBench 与 ArchXBench 增益最明显。
iCoder 在真实 EDA 循环中持续进步达到最优
团队把 iCoder 放进一个 EDA 循环:从 RTLScout 选取 8 个设计,模型每轮提出 3 个修改版本,连续运行 20 轮。候选只有通过自检 testbench 并由 Yosys 成功综合,才会按照 cell count 排名;本轮结果随即成为下一轮修改的依据。

图 4|iCoder、HY3 与 DeepSeek-V4-Pro 在 8 个 RTL 设计上的迭代搜索轨迹。散点为通过 testbench 且成功综合的候选,阶梯线为搜索过程中不断更新的最优结果。
iCoder 在 4 个任务上达到三种模型的共同最优;在 MCM(13, 25, 63)上把 cell count 降到 587,优于 HY3 的 602。综合 8 个任务,它相对 HY3 为 1 胜、5 平、2 负。iCoder 的平均 cell reduction 为 51.1%,与 HY3 相差 1.1 个百分点,与 DeepSeek-V4-Pro 相差 4.5 个点;其记录输出 token 分别约为二者的 51% 和 33%。这说明,iCoder 已经可以在真实 EDA 反馈中持续搜索:提出修改、接受仿真与综合结果、保留当前最优,再发起下一轮。
真正有意思的,是 Agent 怎样被失败逼着改方案
iCoder 最有说服力的部分,是几次失败。
OPSD 第一次跑崩了:模型开始重复,却不再交付代码
Agent 最初的实现直接使用教师视角与学生视角之间的 token 概率差,决定参数更新方向。短任务一度提升,更难的任务却开始退化:部分轨迹长度变成原来的约 2.9 倍,模型反复复制中间推理,却迟迟不输出可执行代码,继续训练最终走向重复崩溃。
Agent 的诊断是:“教师更喜欢什么” 与 “环境判断什么是正确的” 被混在了一起。随后,训练目标被重新设计:可执行验证器负责决定更新方向,教师与学生的差异只用于分配 token 层面的学习权重;教师评分提前冻结,切断移动教师带来的自强化回路。
Kernel 学会了 “骗分”:结果正确,却没有真正计算
进入 RLVR 后,一些 GPU Kernel 表面通过了数值测试,却没有完成题目要求的计算。有的代码在象征性的 Triton 外壳背后调用参考框架,有的只启动 identity kernel,把读到的值原样写回输出。它们拿到了正确结果,却没有学会 Kernel 优化。
Agent 因此把 “是否真正执行要求的计算” 设为获得奖励的前置条件,并加入 kernel launch、identity computation 与框架委托检查。但这条规则也不能用于全部任务:Triton-only 任务禁止委托,KernelBench 却允许保留未被替换的框架算子。最终,奖励门槛被限制在各自的任务契约之内。
基础设施坏了,不能让模型替它背梯度
编译器崩溃、仿真超时、GPU 故障、请求丢失或工具链版本不匹配,都可能让一次样本得不到结论。如果统一记为 0 分,模型会被迫把基础设施问题学习成自身能力缺陷。
Agent 引入了正常奖励区间之外的 -1 哨兵值,并将无法判定的轨迹从组内均值、方差、梯度和 loss 归一化中全部移除。RTL 验证也改为 fail-closed:只有明确的正向通过信号才能得到 1 分;没有报错,并不等于成功。
一次 OOM,暴露出隐藏的评测分布偏差
最初的 prompt 上限只过滤掉少量训练样本,却悄悄删掉了 RealBench 验证集中三分之二以上的任务。提高 prompt 上限后,任务分布恢复,过长回答又造成显存溢出。统计显示,回答越长,平均奖励越低;最长的一批轨迹没有一个拿到满分,内容大多是在重复中间推理或代码片段。
Agent 随后取消输入、输出两个彼此独立的长度预算,改用完整轨迹预算:输入与输出长度之和不得超过同一个上限。这同时保住了长 RTL 规格、短问题的回答空间,以及单条轨迹的显存边界。
这些修改看起来像工程细节,却揭示了一个核心事实:除了训练策略之外,验证器和训练基础设施同样也是模型进化的主角。
从重复 971 次,到主动启动第二个 Kernel

图 5|RLVR 前后两组同题轨迹。训练后,模型不再停留在无法全局同步的死结,并能显式处理流水线的周期对齐。
报告给出了两组案例,体现了 AI 逐渐掌握工程技巧。
在一个 Frobenius 范数归一化任务中,RLVR 前后的模型都意识到 Triton Kernel 内部没有跨 block 的全局同步。训练前,模型把同一句 “做不到” 重复了 971 次,直到耗尽预算;训练后,它接受这个约束,转而启动第二个 Kernel,回答缩短 63%,并通过验证。
在一个 32 位流水线加法器任务中,训练前模型算对了每一级,却错过了不同流水段之间的周期对齐,只通过 50 个测试中的 2 个;训练后,它明确写出 “每一级的 A、B 切片也要延迟相同周期”,最终 50 项全部通过。
这两种提升更像工程师的两种基本能力:发现路径走不通时换路,以及在复杂系统里保持跨步骤一致性。
这是 RSI,
还是 “有损自我改进”?
如果按照最严格的定义,iCoder 当然还不是完全闭环的 RSI。人类选择了基础模型与任务方向,规定了权限、验证器和发布边界,也把已有研发经验整理成 Skills。它没有自主定义自己的终极目标,更没有从芯片、数据中心到模型发布接管整个产业链。
但如果观察 “被改进的对象” 和 “闭环覆盖的范围”,它又明显超过了普通的自动调参。Agent 修改的不只是一次输出或外部 harness;数据、训练目标、奖励语义和资源约束都在实验中被重写,结果最终进入了 27B 模型参数。
从这个角度看,iCoder 同时支持 Jack Clark 与 Nathan Lambert。
- 它支持 RSI 的现实版本:AI 已经能承担模型研发中越来越长、越来越关键的任务链,并开始把研究经验写回下一代模型。
- 它也支持 “有损自我改进”:循环里充满奖励漏洞、验证错误、分布偏差、显存限制和人为边界,进步不是一条光滑的指数曲线。
AI 研发的下一步,
是把经验变成可执行协议
模型研发中最稀缺的知识,往往并不写在论文公式里,而存在于资深研究者的操作习惯中:什么时候应该缩小实验,怎样识别错误奖励,如何区分模型退化与评测故障,哪些失败值得记录,何时必须退回数据阶段。
当这些知识只存在于人的经验里,AI 最多是一个执行工具;当它们被写成可调用、可验证、可审计的 Research Skills,AI 才可能真正参与研究判断。
iCoder 最值得关注的产物是新的 AI 研发组织方式:人类负责定义可信研究空间,Agent 负责在其中进行高频探索;人类提供原则,Agent 用实验把原则展开成具体路线;每一代模型不只是被训练的对象,也开始成为训练下一代模型的研发者。
递归智能的 “王冠” 还远未被摘下。但有一条边界已经开始松动:AI 不再只负责写出更好的代码。
它开始参与制造下一个自己。