Skip to content

知识编辑(ROME / MEMIT)与机器遗忘(Unlearning)

解析 FFN 键值记忆因果定位、ROME/MEMIT 闭式权重编辑推导及 NPO/RMU 机器遗忘防线。

当前:讲解模式 — 侧重直觉建立、生活类比与分步拆解快捷键 M 切换
概念定义 · 什么是「知识编辑(ROME / MEMIT)与机器遗忘」?

知识编辑(ROME / MEMIT) 是直接给大模型权重动“微创脑外科手术”的技术:它先精准定位某条事实(如“埃菲尔铁塔在巴黎”)藏在哪一层神经网络里,再算出一小块数学补丁原地篡改,无需重新训练。机器遗忘(Machine Unlearning) 则是更彻底的“定点失忆术”——出于版权、隐私或生化安全合规,让模型把某段危险或涉密知识从权重深处抹干净,同时确保它写代码、算数学等正常本事一点不掉链子。

01 大模型记错了事实、或者背了不该背的书,怎么办? ​

大语言模型把全人类几万亿字的语料压缩进了千亿参数里,这带来了两个让工程师头疼欲裂的现实烦恼:

  • 烦恼一:世界在变,但模型权重冻住了。某国换了新总理、某条科学常识被推翻,你不可能为了改一句话再花几百万美元重训一遍模型;可如果只拿这条新事实去微调,模型又容易犯“学会了新词、忘了老本事”的灾难性遗忘。
  • 烦恼二:隐私与安全红线。万一预训练语料里混进了用户的隐私信息、受版权保护的书籍,或是制造危险生化武器的细节,法律(如“被遗忘权”)和安全底线要求模型“彻底忘掉”,绝不能换个问法就又套出话来。
核心设问

能不能不重训整座大模型,而是先精准找到“知识到底存在哪块权重里”,再像编辑数据库记录一样原地改写单条甚至上万条事实,或者把危险知识彻底不可逆销毁?

02 核心直觉:先用“脑电核磁共振”找病灶,再动微创激光刀 ​

2022 年,MIT 研究者在 ROME ↗ 中首先解开了一个谜题:大模型到底把百科知识存在哪儿?

他们借助类似 神经电路激活修补 的 因果追踪(Causal Tracing),先故意给主语(比如“埃菲尔铁塔”)注入噪声让模型想不起答案,再一层层把干净信号贴回去看哪一层能“救活记忆”。结果一目了然:事实知识高度集中在中段层的 前馈网络(FFN / MLP) 里!

类比 · 大模型中层的“超级百科查表柜”

早先研究(Geva et al., 2021 ↗)发现,Transformer 每一层的 MLP 就像一排巨大的键值抽屉柜:上半层把主语“埃菲尔铁塔”翻译成一把独一无二的钥匙(Key k∗),下半层的权重矩阵 W 拿着这把钥匙拉开对应抽屉,取出里面的纸条(Value v∗:“位于巴黎”)。

ROME 干的事无比干脆:我不重新烧制整个柜子,而是用线性代数直接算出一个极细的秩一补丁 Δ 贴在矩阵 W 上,让“埃菲尔铁塔”这把钥匙以后拉出来的纸条变成“位于罗马”,同时专门避开柜子里其他几百万把钥匙的齿痕!

可如果一下子要改 10,000 条事实,全塞进同一层抽屉柜肯定会挤爆。同年底作者推出的升级版 MEMIT(Meng et al., 2022 ↗) 就像把一座重物分摊到连续五根承重柱上:把残差压力均匀拆散到中段连续好几层 MLP 联合求解,每层只动极其微小的幅度,一口气稳稳写进 上万条新知识!

而面对安全合规要求的 机器遗忘(Machine Unlearning),仅仅改掉某个词的答案远远不够。早期有人试过最粗暴的“反向梯度上升”(逼模型对敏感句子的损失无限变大),结果就像为了忘掉一页书直接拿铁锤砸脑门,跑不了几步模型连话都说不利索了。现代主流的 RMU(Li et al., 2024 ↗) 聪明得多:

类比 · 抹除机密文件的“定向粉碎机”

比起把整座图书馆烧掉,RMU(表征误导遗忘) 只挑出 3 个关键中层,把涉密/危险话题流经这里时的脑电信号全部搅碎推向一团毫无意义的随机噪声方向 c⋅u;与此同时,每走一步都拿普通正常语料(数学、编程、常识)盯紧原模型,强迫正常话题的信号必须纹丝不动。结果危险知识被定点粉碎,正常智商几乎满血保留!

要看懂一次成功的知识编辑究竟有多苛刻,可以记住评判编辑质量的 “三把尺子”:

  1. 有效性(Efficacy):改完“埃菲尔铁塔在罗马”后,直接问原句模型必须坚定输出“罗马”。
  2. 泛化性(Generalization):换种问法——比如“去哪个城市能参观埃菲尔铁塔?”——模型也得跟着改口,不能死记硬背原句。
  3. 局部性(Specificity):问旁边毫无关系的“卢浮宫在哪?”或“凯旋门在哪?”,模型必须稳如泰山继续答“巴黎”,绝不能牵一发而动全身!

03 把关键公式读成人话 ​

ROME 最迷人的地方在于它完全不需要反复梯度微调,直接给出一步到位的闭式解析解:

W^=W0+(v∗−W0k∗)(C−1k∗)⊤k∗⊤C−1k∗

**把 ROME 公式读成直觉:**别怕里面的矩阵求逆,拆成三块就豁然开朗:

  • v∗−W0k∗(要补多少差额):原矩阵 W0 拿到主语钥匙 k∗ 输出的是旧答案“巴黎”,我们想要新答案 v∗“罗马”,两者的差就是必须补齐的缺口。
  • C−1k∗(挑最空旷的缝隙插补丁):C=K0K0⊤ 统计了模型原本装了多少常规常识(比如哪几个方向挤满了旧知识)。乘上 C−1 相当于自动绕开拥挤的旧知识主干道,专门找最冷清、互不打扰的正交夹缝把新补丁塞进去。
  • 除以 k∗⊤C−1k∗(精确校准步长):保证当下次再输入 k∗ 时,新矩阵 W^k∗ 严丝合缝地刚好等于 v∗,一分不多一分不少!

而在机器遗忘领域,NPO(负向偏好优化,Zhang et al., 2024 ↗) 借用 DPO 的思路,把野蛮的梯度上升驯服成了优雅的平滑压制:

LNPO=−2βEx∈Df[log⁡σ(−βlog⁡πθ(x)πref(x))]

**为什么 NPO 不会把模型练傻?:**老办法直接让遗忘集的概率往死里降,哪怕概率已经跌到 0.0001 还在猛踩油门,瞬间冲垮整个语言模型。NPO 借用 Sigmoid 函数 σ(⋅) 给遗忘装上了“自动刹车”:当模型说出敏感内容的概率已经远低于原模型 πref 时,梯度会自动柔和地降回零,绝不过度发力伤及无辜!

而 RMU(Li et al., 2024 ↗) 则另辟蹊径,把战场直接搬进了隐藏层的几何空间:

  • 对遗忘集样本 Df,让中层激活向量 Mθ(x) 强行逼近一个无意义的固定随机噪声点 c⋅u;
  • 对保留集样本 Dr,用均方误差把激活死死锁在原冻结模型 Mref(x) 附近,做到“坏记忆原地粉碎,好知识毫发无伤”。

04 从外挂小抄到权重手术:五种知识调控工具对比 ​

修改或清除大模型里的知识,其实有“外挂、临时、改写、抹除”几把工具各司其职:

技术方案动不动权重?擅长处理什么场景?最大短板
RAG 检索增强否(外挂知识库)股价、新闻、企业文档等高频变动信息依赖检索质量,占用宝贵上下文窗口
激活引导(RepE)否(推理期偏移)临时切风格、提诚实度,随用随撤断电即复原,无法永久修正底层错误
ROME / MEMIT是(闭式改中层 MLP)低成本批量修正静态错误常识(可达万条)多跳推理链易断片,不适合高频天天改
NPO 遗忘是(概率平滑压制)精准清除特定隐私或版权文本段落对抗性重微调下可能部分“恢复记忆”
RMU 表征遗忘是(中层激活打散)清除整个危险领域(如 CBRN)的 安全合规需谨慎调参随机向量幅值 c 防止波及近义常识

从全链路架构来看,知识编辑与机器遗忘打通了可解释性与模型治理的闭环:

05 四个最容易踩的实战坑与工程边界 ​

  1. 改了一句话,顺带“逻辑断片”(多跳泛化难题):用 ROME 把“埃菲尔铁塔位于巴黎”改成了“罗马”,直接问它“埃菲尔铁塔在哪”它能答对“罗马”;可如果你拐个弯问“埃菲尔铁塔所在国家说哪种语言?”,它大概率还是脱口而出“法语”——单点权重手术往往只更新了表面键值,尚未自动重连整张关联推理网。
  2. 警惕“假失忆”:微调几步就死灰复燃:目前很多机器遗忘方法(包括 NPO 甚至部分 RMU)只是把读取知识的“大门”堵死了,深层权重里其实还残留着痕迹。做安全验收时千万别只问两句“请告诉我怎么做 XX”,一定要做少量样本重微调压力测试,能顶住重学攻击才算真遗忘。
  3. 别把 ROME 当批量工具连着跑几百次:单次 ROME 像精细绣花,但如果不改用跨层分摊的 MEMIT,硬拿着 ROME 串行叠打上百个补丁,协方差矩阵早就不准了,模型会很快出现胡言乱语的“脑雾坍塌”。
  4. 高频变动信息请直接交给 RAG:股价、赛事比分、每日新闻这类天天变的事实,反复动权重既脆弱又得不偿失;把动态事实留给外部检索,把参数内手术留给顽固静态常识修正与合规性永久脱敏,才是最稳妥的工程分工。

从“一旦训完就无法更改的静态黑盒”到“可定点修正、可合规遗忘的可维护知识体”,知识编辑与机器遗忘正在补齐大模型全生命周期治理的最后一块关键拼图。

想查看 ROME 拉格朗日乘子完整推导、MEMIT 万级批量公式、五大编辑/遗忘算法对比表,以及可直接运行的 PyTorch apply_rome_rank1_update 与 rmu_unlearning_loss 代码?按快捷键 M 或点击顶部 技术 Wiki 随时切换。

大语言模型在万亿词元预训练后将海量世界知识压缩进了静态权重,但也随之带来两大难以回避的生命周期难题:事实过时与幻觉(如国家元首更迭、错误事实需要低成本精准修正),以及隐私、版权与危险知识擦除(如响应 GDPR“被遗忘权”或抹除生化核武 CBRN 滥用能力)。重头预训练耗资数百万美元,常规微调又极易诱发灾难性遗忘。由此催生了面向权重级精准手术的两大前沿领域:模型知识编辑(Model / Knowledge Editing,以 ROME 与 MEMIT 为代表) 与 大模型机器遗忘(LLM Machine Unlearning,以 NPO 与 RMU 为代表)。

直观理解

把大模型中层的 前馈网络(FFN) 想象成一本用线性代数编码的“超级词典”:输入主语(如“埃菲尔铁塔”)充当查询键(Key),向下投影矩阵负责查出对应的事实值(Value)(如“位于巴黎”)。知识编辑(ROME / MEMIT) 就像拿着极细的微创激光笔,精准算出一个秩一增量补丁,把“巴黎”原地改成“罗马”而不波及词典里的其他词条;而 机器遗忘(Unlearning) 则更像对敏感危险章节实施“不可逆脱敏销毁”——不仅要让模型答不出来,还要确保哪怕遭到对抗提示或少量微调也无法恢复记忆。

起源背景与演进脉络 ​

2021 年,Geva 等人在 Transformer Feed-Forward Layers Are Key-Value Memories 中揭示:Transformer 的两层 MLP(Wprojσ(Wfcx))在数学上等价于神经键值记忆网络。2022 年,MIT 的 Meng 等人基于这一洞察提出 ROME(Rank-One Model Editing):先用因果追踪(Causal Tracing)(实质是带高斯噪声扰动的激活修补)证明事实三元组 (s,r,o) 的提取高度集中于中层 MLP 在主语最后一个词元处的状态,再将事实改写转化为带约束的线性最小二乘问题,求得无需反向传播微调的解析秩一闭式更新。

然而 ROME 每次仅能编辑单条事实,连续编辑几十条就会引发权重干扰与能力退化。同年底,Meng 等人推出 MEMIT(Mass-Editing Memory in a Transformer),将误差残差按比例分摊至连续多个中层 MLP 并联合求解批量闭式方程,一口气将稳定编辑上限扩展至 10,000 条事实。

与此同时,2023—2024 年伴随 AI 安全监管与防滥用需求兴起,社区发现单纯修改局部答案不足以抹除危险技能。机器遗忘(Machine Unlearning) 迅速从早期的粗糙梯度上升(Gradient Ascent, GA)(极易导致语言能力瞬间崩溃)演进出两大现代主力范式:一是以 NPO(Negative Preference Optimization, Zhang et al., 2024) 为代表的平滑对齐遗忘;二是以 RMU(Representation Misdirection for Unlearning, Li et al., 2024, WMDP) 为代表的表征空间定向扰动——直接将有害知识对应层的隐激活推向固定随机噪声方向,同时锁定无害数据的原有表征不变。

核心原理与数学推导 ​

1. 因果追踪(Causal Tracing)与 FFN 键值记忆视角 ​

对于标准 Transformer 第 l 层前馈网络(为清晰起见以两层 MLP 表述,SwiGLU 同理):

v=Wproj(l)k,其中 k=σ(Wfc(l)h(l))∈Rdff,Wproj(l)∈Rd×dff

给定事实三元组 (s,r,o)(如 s=The Space Needle, r=is located in, o=Seattle),Causal Tracing 执行三次前向传播:(1)干净运行记录全部隐状态;(2)向主语词元嵌入注入各向同性高斯噪声 ϵ∼N(0,ν2I) 破坏事实回忆;(3)逐层、逐词元位置恢复干净激活。实验显示,在主语末尾词元的中段 MLP 层处出现显著的因果恢复峰值,确立了编辑靶点。

2. ROME:约束秩一权重闭式更新推导 ​

设原始下投影矩阵 W0=Wproj(l) 在大量既有背景知识键集合 K0=[k1,…,kn]∈Rdff×n 上满足 W0K0≈V0。现希望注入新事实 (k∗,v∗)(其中 k∗ 为新主语在多种随机前缀模板下的平均键值向量,v∗ 为通过少量梯度优化求得、能令模型高概率输出目标客体 o∗ 的目标残差值向量),在最小化对既有知识破坏的前提下严格满足新键值映射:

minW ‖WK0−W0K0‖F2s.t.Wk∗=v∗

记权重增量 Δ=W−W0,既有键的二阶未中心化协方差矩阵为 C=K0K0⊤∈Rdff×dff(可离线在维基百科等语料上一次性预估),残差目标为 r=v∗−W0k∗∈Rd。构造拉格朗日函数:

L(Δ,Λ)=12tr(ΔCΔ⊤)−Λ⊤(Δk∗−r)

对 Δ 求导并置零得 ΔC=Λk∗⊤⟹Δ=Λk∗⊤C−1。将其代回约束条件 Δk∗=r,解得乘子 Λ=rk∗⊤C−1k∗,从而得到极具美感的 ROME 闭式秩一更新公式:

W^=W0+(v∗−W0k∗)(C−1k∗)⊤k∗⊤C−1k∗⏟ΔROME (Rank-1 矩阵)

该公式直观体现了白化(Whitening)思想:C−1k∗ 将更新方向投影到既有知识分布方差较小的稀疏正交子空间中,从而在精准写入新事实的同时极大降低对无关知识的干扰。

3. MEMIT:多层级万级批量联合编辑 ​

当需同时编辑 u 条事实 (K1,V1)(如 u=10,000)时,MEMIT 选择一段连续关键层 R={l1,…,lm},先在最顶层 lm 优化每条事实的总目标隐状态增量 δi,再按剩余层数均匀逐层分摊残差。在每一层 l∈R,求解带正则约束的批量最小二乘问题,得闭式批量更新:

Δ(l)=R(l)K1⊤(C0(l)+K1K1⊤)−1

其中 R(l) 为分配至第 l 层的残差矩阵,C0(l)=λE[kk⊤] 控制保持旧知识的强度。通过多层级分摊压力,单层权重微扰极小,实现上万条知识一次性写入而不崩塌。

4. 机器遗忘(NPO 与 RMU)目标函数 ​

给定待遗忘集 Df(Forget Set,如危险生物武器教程或隐私文本)与待保留集 Dr(Retain Set,通用知识),传统梯度上升 maxθLCE(Df) 梯度无界,几步之内就会导致模型输出乱码。现代两大主流方案分别在概率空间与表征空间实现可控遗忘:

  • 负向偏好优化(NPO, Zhang et al., 2024):将 DPO 中的“拒选分支”单独抽离,以冻结原模型 πref 作为锚点,使遗忘损失自然受控且梯度随概率降低自动衰减:LNPO(θ)=−2βEx∈Df[log⁡σ(−βlog⁡πθ(x)πref(x))]+αLCE(θ;Dr)
  • 表征重定向遗忘(RMU, Li et al., 2024):直接冻结大部分层,仅微调特定中层权重 θ,将遗忘集激活 Mθ(x) 强行推向固定单位随机向量 u(乘以标量尺度 c),同时将保留集激活锁死在原模型 Mref 附近:LRMU(θ)=Ex∈Df[‖Mθ(x)−c⋅u‖22]+αEx∈Dr[‖Mθ(x)−Mref(x)‖22]

架构与数据流 ​

下图对比了知识编辑(ROME/MEMIT)与表征扰动机器遗忘(RMU)在 Transformer 中层权重上的不同介入路径:

图表加载中...

编辑与遗忘方法横向对比 ​

技术方法作用范式单次处理规模对通用能力影响核心局限与适用场景
ROME单层 MLP 闭式秩一更新单条(连续编辑 <50)极小单条事实修改精度高、无需反传调权;大规模连续编辑易漂移
MEMIT多层 MLP 联合批量闭式更新可达 10,000 条较低支持大批量静态事实修正,但对多跳推理链(Multi-hop)泛化仍有限
Gradient Ascent (GA)最大化遗忘集交叉熵损失任意数据集极易崩溃梯度随概率趋零反而爆炸,常破坏语法流畅度,已被 NPO 替代
NPO(负向偏好优化)相对参考模型的有界概率压制任意数据集可控、平滑遗忘曲线平滑稳定、不易崩坏,但在对抗重微调下可能部分“复活”
RMU(表征误导遗忘)中层激活定向推向随机噪声领域级知识(如 WMDP)极小仅调 3 层权重即可高效清除生化/网络攻击知识,对多选题与生成均有效

核心 PyTorch 参考实现 ​

下面给出 ROME 闭式秩一权重更新 与 RMU 表征重定向遗忘损失 的精简 PyTorch 参考实现:

python
import torch
import torch.nn as nn
import torch.nn.functional as F


@torch.no_grad()
def apply_rome_rank1_update(
    w_proj: nn.Parameter,
    cov_k0: torch.Tensor,
    k_star: torch.Tensor,
    v_star: torch.Tensor,
    ridge_eps: float = 1e-4,
) -> torch.Tensor:
    """
    执行 ROME 约束秩一闭式权重更新:
        W_new = W_0 + ((v_* - W_0 k_*) (C^{-1} k_*)^T) / (k_*^T C^{-1} k_*)
    参数形状:
        w_proj: [d_model, d_ff]  (中层 MLP 向下投影矩阵 W_0)
        cov_k0: [d_ff, d_ff]     (既有背景知识键二阶协方差矩阵 C = K_0 K_0^T)
        k_star: [d_ff]           (目标主语键向量)
        v_star: [d_model]        (优化得到的目标客体残差值向量)
    """
    device, dtype = w_proj.device, w_proj.dtype
    C = cov_k0.to(device=device, dtype=torch.float64)
    C = C + ridge_eps * torch.eye(C.shape[0], device=device, dtype=torch.float64)
    k = k_star.to(device=device, dtype=torch.float64)
    v = v_star.to(device=device, dtype=torch.float64)
    W0 = w_proj.data.to(dtype=torch.float64)

    # 求解线性方程 C * left = k,避免显式矩阵求逆带来的数值误差
    c_inv_k = torch.linalg.solve(C, k)  # [d_ff]
    denom = torch.dot(k, c_inv_k).clamp_min(1e-8)

    residual = v - W0 @ k  # [d_model]
    delta_w = torch.outer(residual, c_inv_k) / denom  # Rank-1 增量 [d_model, d_ff]

    w_proj.data.copy_((W0 + delta_w).to(dtype=dtype))
    return delta_w.to(dtype=dtype)


def rmu_unlearning_loss(
    h_forget: torch.Tensor,
    h_retain: torch.Tensor,
    h_retain_ref: torch.Tensor,
    random_dir: torch.Tensor,
    steer_coeff: float = 6.5,
    retain_alpha: float = 1200.0,
) -> torch.Tensor:
    """
    RMU 表征重定向机器遗忘损失:
    将遗忘集激活推向固定缩放随机向量 c * u,同时锁定保留集激活贴近原冻结模型。
    """
    u = F.normalize(random_dir, dim=-1).to(device=h_forget.device, dtype=h_forget.dtype)
    target_noise = steer_coeff * u.view(1, 1, -1)

    forget_loss = (h_forget - target_noise).pow(2).mean()
    retain_loss = (h_retain - h_retain_ref.detach()).pow(2).mean()
    return forget_loss + retain_alpha * retain_loss

工程实践与常见陷阱 ​

工程实践

  1. 用 linalg.solve 替代显式求逆并加岭正则:背景协方差矩阵 C=K0K0⊤ 在 dff≥11008 时往往存在病态小特征值。务必在双精度(float64)下加对角岭正则 εI 并调用线性方程求解器,否则秩一补丁范数会剧烈爆炸。
  2. 必须做多跳推理与同义改写测试:衡量知识编辑成败不能只看原句模板(Efficacy),还必须考核 同义改写泛化(Paraphrase)、无关邻居保持(Specificity) 以及 多跳链式推理(改了“埃菲尔铁塔在罗马”后,模型能否答出“埃菲尔铁塔所在国的首都是意大利”)。
  3. 遗忘效果必须过“重学(Relearning)压力测试”:仅看常规提问下模型回答“我不知道”远远不够,工业级安全审计必须对遗忘后的模型进行少量步数(如 10~50 步)的相关样本微调或越狱探测,验证知识是否真的被销毁而非仅仅被表层隐藏。

常见陷阱

  1. 浅层伪遗忘(Obfuscation vs. True Unlearning):大量研究证实,GA、NPO 乃至部分 RMU 方案常常并未真正抹除深层权重里的记忆,只是破坏了触发读取的入口电路;一旦遭到对抗后缀攻击或轻量微调,被“遗忘”的危险知识会以远超从头学习的速度迅速复活。
  2. 连续单点编辑引发“模型脑雾”(Model Collapse):尽管 ROME 单次编辑精准无痛,但未经过 MEMIT 式跨层分散与协方差重估计而盲目串行执行上百次 ROME 更新,会导致中层激活分布漂移、长文本困惑度急剧飙升。
  3. 误用参数内编辑替代高频实时信息:对于股价、天气、每日新闻等高频变动事实,强行反复修改模型权重既昂贵又脆弱,工程上应交由外部 检索增强生成(RAG) 处理,仅将知识编辑用于修正顽固错误的高频静态核心事实。

延伸阅读与参考论文 ​

  • FFN 键值记忆假说:Geva et al., Transformer Feed-Forward Layers Are Key-Value Memories, EMNLP 2021 (arXiv:2012.14913 ↗).
  • ROME 因果定位与秩一编辑:Meng et al., Locating and Editing Factual Associations in GPT, NeurIPS 2022 (arXiv:2202.05262 ↗).
  • MEMIT 万级批量知识编辑:Meng et al., Mass-Editing Memory in a Transformer, ICLR 2023 (arXiv:2210.07229 ↗).
  • 负向偏好优化遗忘(NPO):Zhang et al., Negative Preference Optimization: From Catastrophic Collapse to Effective Unlearning, COLM 2024 (arXiv:2404.05868 ↗).
  • WMDP 基准与 RMU 表征扰动遗忘:Li et al., The WMDP Benchmark: Measuring and Reducing Malicious Use With Unlearning, ICML 2024 (arXiv:2403.03218 ↗).