NeurIPS 2026 | 大模型抗遗忘新范式:「先微调,后矫正」实现无遗忘等价条件

栏目:互联网 | 来源:机器之心Pro | 2026-11-22 18:33

罗马神话中的时间之神 Janus,有两张面孔,能够同时望见过去和未来。

可大模型学会了新技能,却往往忘了旧知识。

这种现象被称为「灾难性遗忘」(Catastrophic Forgetting),是大模型微调面临的经典难题。

长期以来,研究者一直试图在训练过程中为模型设置约束,让它学习新知识的同时,尽量不忘记过去。

但现在,一项来自清华大学与的联合研究,提出了一个不同的思路:

与其在训练过程中小心翼翼地防止遗忘,不如先让模型完成微调,再对参数进行针对性修正。

这项研究提出的 JANUS 框架,不改变原有微调流程,只需对已经完成微调的模型进行后处理,就能恢复部分受损的历史知识,同时尽可能保留新任务能力。

在 LLaMA-2-7B 的数学和代码任务实验中,JANUS 将历史知识保持指标分别从 67.55%和 79.71%提升至 106.16%和 109.83%,而新任务能力指标仅下降约 1 个百分点。

目前,该工作已被 NeurIPS 2026 接收,论文与代码已公开。

  • 论文标题:Past, Future, All at Once: Mitigating Stability-Plasticity Dilemma via Post-hoc JANUS Rectification
  • 论文链接:https://arxiv.org/abs/2609.19985
  • 代码链接:https://github.com/zhengzl18/JANUS

01 大模型为什么总是「学了新的,忘了旧的」?

对于大模型而言,学习新任务和保留旧知识,往往是一对难以兼顾的目标。

前者要求模型具备可塑性(Plasticity),后者则要求模型保持稳定性(Stability)。

问题在于,两者往往相互牵制。一方面,模型需要不断调整参数,以适应新的任务和数据;另一方面,这些参数的变化又可能干扰预训练阶段已经建立的知识表示。

现有一些抗遗忘微调方法采用「子空间正交」约束,限制参数更新进入可能干扰旧知识的方向。

但 JANUS 研究团队注意到,这类限制可能比真正防止遗忘所需要的条件更加严格。

JANUS 正是从这里找到突破口。

02 解锁模型潜能:从「充分条件」到「充要条件」

JANUS 所做的第一件事,是重新审视抗遗忘所需要满足的数学条件。

子空间正交约束要求参数更新量ΔW与历史知识M各自张成的子空间相互正交,也就是:ΔW · M = 0

它确实能够减少干扰,但也同时给大量方向「上锁」。当历史样本增多时,可供模型学习新任务的空间会迅速缩小。

简言之,这一条件是充分的,但不必要。

JANUS 的出发点是:网络中的参数是一个共同发挥作用的整体,它们可以通过彼此之间的协作,共同分担抗遗忘的责任。

因此,方法将「每一行参数各自实现抗遗忘」改写为「所有参数共同协作实现抗遗忘」,也就是:Tr(ΔW · M) = 0

这一变化看似细微,却隐含了一个关键的视角转化:

ΔW · M = 0关注的是ΔW的行空间与M的列空间,要求这两个相对低维的子空间之间正交;Tr(ΔW · M) = 0则把它们视为高维参数空间中的两个向量,约束向量之间的正交。

这一条件不仅充分,而且必要。

于是,模型能够在保留旧知识的同时,获得更大的参数更新空间,用于学习新任务。

子空间正交与参数空间正交对比

在此基础上,研究团队设计了JANUS(JAcobianNUllSpace Projection)算法,通过雅可比零空间投影,将微调后的参数更新量矫正到对旧任务损失一阶不变的方向。

值得注意的是,这一过程并不需要嵌入原有训练流程。

模型可以先通过全参数微调、LoRA 等方法学习新任务,随后再利用 JANUS 对已完成的参数更新进行矫正。

这也使 JANUS 区别于现有的训练时抗遗忘方法:它尝试在模型已经学会新任务之后,再修复微调对旧知识造成的影响。

03 一次矫正还不够:让模型沿着「安全路径」逐步修复记忆

不过,训练后的参数矫正并不是简单地完成一次投影。

旧任务梯度所指示的无遗忘更新方向只是局部的。这意味着,当参数变化幅度较大时,最初计算得到的方向可能不再准确。

如果直接执行一次大跨度投影,最终参数仍然可能偏离历史损失保持不变的区域。

为解决这一问题,研究团队进一步提出了「多步自适应矫正」机制。

其核心思想是:不一次性完成全部修正,而是「小步多次」进行修正。

每完成一步,JANUS 都会重新计算当前位置的雅可比矩阵,提供下一步的无遗忘更新方向。

同时,算法引入 JANUS shift 指标,通过比较不同位置的雅可比矩阵行空间变化,自适应选取合适的步长。

可以将其理解为沿着历史任务损失的等高线前进:每次走一小步,重新确认等高线的方向,再继续下一步。

此外,研究还引入 Ghost 操作与 SVD 压缩等技术,以降低大模型参数矫正过程中的时间和空间开销。

对 7B 参数的模型,只需 1 张 A100 显卡,30 分钟,即可完成修正。

多步自适应矫正:在局部可信区域内小步前进

04 旧知识恢复至预训练水平以上,新能力损失约 1 个百分点

JANUS 究竟能够在多大程度上缓解灾难性遗忘?

研究团队在 LLaMA-2-7B 和 LLaMA-3-8B 上进行了系统评测,覆盖数学、代码以及指令遵循三类下游任务。

对比方法包括普通微调方法(全参数微调、LoRA、PiSSA)和抗遗忘微调方法(CorDA、MiLoRA 和 LoRA-Null)。JANUS 应用于 PiSSA 的训练结果,记为 JANUS-P。

论文使用三个综合指标衡量稳定性与可塑性:AP₁表示历史知识保持程度,即稳定性;AP₂表示新任务能力,即可塑性;AP为二者的算术平均。

在 LLaMA-2-7B 上, JANUS-P 取得了尤为突出的结果。

LLaMA-2-7B 上的实验结果

在数学任务中,JANUS-P 将稳定性指标AP₁从 67.55% 提高到 106.16%,而可塑性指标AP₂仅下降 1.02 个百分点。在代码任务中,AP₁从 79.71% 提升至 109.83%,AP₂仅下降 0.75 个百分点。

在指令遵循任务上,JANUS-P 同样将稳定性提升至接近预训练模型的水平,并获得更高的综合指标。与其他抗遗忘微调方法相比,JANUS-P 几乎都取得了稳定性与可塑性的双重提升。

稳定性-可塑性对比

进一步实验显示,这种恢复效果能够跨基础模型、下游任务和原始微调方法稳定出现,说明 JANUS 并非绑定于某一种训练方案。

05 结语:从「训练时限制」到「训练后修复」,大模型持续学习的新思路

JANUS 最值得关注的地方,或许不仅在于具体的性能提升,更在于它改变了抗遗忘问题的处理方式。

过去,许多方法试图在模型学习新任务的过程中,通过限制参数更新来避免破坏旧知识。

JANUS 则将这一约束转移到了训练之后。

这一变化意味着,抗遗忘机制不必与特定的微调算法深度绑定,而有机会成为一种相对独立的模型后处理环节。

对于需要频繁适配不同任务、持续更新能力的大模型而言,这提供了一条具有实际应用潜力的技术路径,展示了一种新的可能:

大模型学习新知识与保留旧知识之间的矛盾,未必只能通过在训练时施加更严格的限制来解决。

有时候,让模型先学会,再修正,也许是一条更灵活的道路。

作者团队简介

该论文第一作者郑志龙,清华大学智能驾驶课题组(iDLab)博士生,导师为清华大学车辆学院、人工智能学院李升波教授。该工作由清华大学与滴滴自动驾驶深穹远航实验室(DiDi Voyager Labs)合作完成。

了解更多

猜你想看

← 返回首页