新智元报道
你让AI自动设计一种新的推理算法：它能读论文、写代码、跑实验，还能根据结果不断修改方案。
看起来，整个研究过程已经交给了AI。
但如果研究问题由人类提出、允许修改的范围由人类划定、判断成功的标准也由人类设定，那么AI真正掌握了多少研究决策？它是在替人做实验，还是已经开始决定如何做研究？
最近，南开大学联合中关村学院团队提出一篇综述，把AI研发拆成三个关键决策：搜索方向、搜索空间和评价信号，并据此提出L0–L3控制来源框架。
论文主页：https://www.preprints.org/manuscript/202610.2999
项目主页：https://ai4ai-research.github.io/
图1：AI4AI研究全景。论文从研究控制权出发，梳理代表性工作、L0–L3控制来源，以及学习、推理、数据和基础设施四个应用分支。
研究自动化，不等于研究决策自动化
先看一个具体例子。假设AI正在为大语言模型寻找更好的推理策略。它可以自动生成候选方法、修改程序并运行基准测试。但下一步应该探索什么？允许它修改哪些部分？又应该依据什么判断新方法更好？
这三个问题看似只是研发流程中的不同环节，实际上对应三种不同的控制权，只有把它们拆开，才能准确描述AI在研究中承担的责任。
下一步研究什么？
假设实验发现，模型生成了很长的推理过程，准确率却没有提高。下一轮应该减少无效步骤、改变中间表示，还是调整候选答案的生成策略？
这决定研究资源投向哪里，属于搜索方向（SearchDirection，D）。AI如果能根据实验历史诊断瓶颈、提出假设，并主动选择下一步干预，就不再只是执行人类给定的实验计划。
图2：发现循环中的三项决策。搜索方向决定探索什么，搜索空间决定允许探索哪些方案，评价信号决定如何判断结果。
允许尝试什么？
搜索空间
即使AI能提出研究方向，它也可能只能在一个人类预先划定的空间里搜索。比如，只允许修改提示词，还是可以改写推理模块、设计新的算法构件，甚至重新定义这些构件的组合方式？
这属于搜索空间（Search Space，S）。它不仅包括表示方式和可用模块，还包括合法的组合、编辑操作与准入约束。搜索空间决定了哪些算法能够被表达，也影响AI能否在有限预算内找到有价值的方案。
什么算成功？
评价信号
一个新推理方法准确率更高，却消耗了三倍推理成本；另一个方法更快，却在困难任务上明显退步。系统应该留下哪一个？
评价信号（Evaluation Signal，E）决定了什么会被视为进步，包括测试任务、奖励函数、判断规则、汇总方式和接受阈值。AI如果能够构建或实质性修改这些评价机制，它影响的就不只是候选方案，还包括研究本身的成功标准。
L0到L3
描述研究控制权的来源
基于三项决策，综述提出了四类控制权分配方式。
L0｜人类或外部规则给定三项决定。比如研究人员事先列好实验顺序、可调参数和评分规则，程序负责执行。
L1｜AI决定下一步怎么搜。以FunSearch为例，系统参考已有程序及其得分，提出下一轮代码修改。可修改的范围和检验程序由人类提供。
L2｜AI改变可搜索的方案。比如DreamCoder会从已有解法中提炼可复用的子程序，把它们加入程序库。之后再遇到新任务，系统可以用这些新积木搭方案。评价仍由外部给定，搜索方向可以由人或AI决定。
L3｜AI提供实际影响训练或筛选的评价信号。比如Eureka生成可执行的奖励函数，用它指导机器人策略训练。任务仍可由人类设定，AI参与决定的是训练中哪些行为会得到奖励。
这样的区分让研究贡献更容易被看清：同样生成了一段代码，系统可能在选择新的探索方向，也可能在构建后续研究使用的工具库，或者在编写决定候选去留的奖励函数。
四个分支
AI正在改进AI的哪些部分？
除了分析决策来源，综述还按改进对象，将AI4AI组织为学习、推理、数据和基础设施四个分支。
图3：AI4AI四个研究分支：学习、推理、数据与基础设施。它们对应不同的改进对象，但都可以用三项决策框架分析。
AI4AI Learning：发现更好的训练方法
AI4AI Learning 关注会更新目标模型参数的研发过程，包括架构、优化器、学习规则、训练流程和适配方法。
例如，AutoML-Zero将学习算法本身作为搜索对象，用给定的数学原语组合并演化程序。研究者要考察的，既包括得到的算法表现，也包括哪些设计材料与约束仍来自人类。
AI4AI Inference：改进模型使用能力的方式
AI4AI Inference关注目标模型及适配器参数保持冻结时的改进。提示词、智能体工作流、工具库、上下文策略和推理时算力分配，都可以成为研究对象。
例如，DSPy优化程序模块的指令和示例，DreamCoder学习后续任务可复用的程序构件。
AI4AI Data：发现更有效的数据组织方式
AI4AI Data关注数据筛选、混合、增强、合成和课程安排。DoReMi就通过代理模型优化不同数据领域的混合权重。
这类工作的价值，需要在共同训练协议下检验：同样的训练过程，换用发现的数据策略后，模型能否稳定受益？数据构建和处理的成本，也应计入比较。
AI4AI Infrastructure：优化支撑AI的计算系统
AI4AI Infrastructure覆盖算子、编译调度、并行执行和硬件设计等环节。综述列举了AlphaEvolve对矩阵乘法分块启发式和TPU算术电路的优化应用。
它提醒我们，AI的下一次进步也可能来自更高效的计算实现，使同样的资源能够支持更多实验。
四个分支回答「AI改进什么」，控制框架回答「哪些决策由AI作出」。
把两者结合起来，才能比较那些目标不同、实现方式不同的AI4AI系统。
下一步
走向AI驱动的超级智能
综述提出了几个值得进一步研究的问题。
一个空间在理论上能够表达好算法，是否意味着AI能在现实预算内找到它？
两者之间可能存在很大距离。
设想系统可以修改任意Python程序。它的表达范围很广，但每次编辑可能影响许多相互依赖的细节。若把常见计算封装成可复用构件，并明确构件之间如何连接，同一种算法就可能用更短、更清晰的方式表示，搜索也获得了不同的修改路径。
论文讨论的新抽象、原语和组合规则，可以缩短有用方案的描述、改变搜索邻域，或排除无效组合。这些变化不一定扩大理论上可表达的算法集合，却可能让有价值的方案更容易被实际发现。
因此，空间的改进可以包括扩展，也可以包括压缩。保留有效可能性、减少无意义组合的空间，同样值得探索。
验证这种贡献时，需要固定或匹配搜索程序与计算预算，比较人类设计空间和AI构建空间，并计入空间构建成本。最终选出的一个高分方案，还需要与候选有效性、多样性、搜索成本和新任务表现一起分析。
对于自动算法设计，这提供了一个明确的研究切口：除了提高每次提案的质量，还可以研究如何组织候选方案，让有限实验更容易产生有价值的发现。
AI参与评价后怎样确认真实进步
当AI开始构建测试、奖励或判断规则时，它也在影响研究过程对「什么值得保留」的判断。
假设一个系统同时改进程序和测试，几轮迭代后，通过率不断提高。这个结果可能来自程序能力提升，也可能来自测试变得更容易。单看内部得分，无法区分这些情况。
综述因此强调，评价器可以随研究改进，但需要保留独立的验证路径。隐藏测试、可执行检查、独立实验或延迟获得的真实结果，都可以提供外部证据；具体采用哪一种，取决于发现所声称的价值。
这也解释了为什么「换一个模型来打分」还不足以保证独立性。候选生成者与评价者可能共享偏差，需要通过错误分析和干预实验判断。
在此基础上，AI4AI的评价应超出单次最佳成绩：发现过程总共花费多少资源，失败实验是否计入成本，换任务后是否仍有效，人类介入了多少次，结论在多次运行中是否稳定，都会影响我们对成果的判断。
这些证据共同回答一个实际问题：研究控制权交给AI之后，带来的收益是否可靠，是否值得其成本？
递归自我改进需要跨代证据
论文标题中的「走向AI发现的超级智能」，对应的是一个有条件的长期研究方向。
其中的关键概念是递归自我改进：一轮改进增强系统产生后续改进的能力。例如，系统发现了可复用的算法构件，使下一轮研究能在相同预算下探索更有效的方案；或者改进了实验机制，让之后的研究更快识别无效方向。
要建立这样的证据，需要同时考察当前产物和产生改进的机制。某一轮成绩提高，或者系统连续修改了多个版本，都不足以单独证明研究能力正在持续增强。
论文提出，可以用多代实验、固定或保留的外部评价、相同预算下的基线，以及未见任务上的迁移来检验递归收益。还可以选择性回滚早期改进，观察后续收益是否随之消失，从而判断前后的因果联系。
这也让研究记忆变得重要。值得继承的经验应包括假设、实现、实验条件、失败原因和适用边界，让后续系统能够检验、复用并修正已有发现。
当一次发现能够帮助下一次发现，而且这种帮助经得起独立验证，AI的研究能力才有了可持续积累的依据。AI4AI能走多远，取决于这样的收益能否跨任务、跨代持续成立。
参考资料：
https://www.preprints.org/manuscript/202610.2999
编辑：LRST
