Skip to content

表征工程(RepE)与激活引导(Activation Steering)

解析线性表征假说、RepE 与 CAA 概念方向提取、推理期残差流激活引导及拒绝向量消融。

当前:讲解模式 — 侧重直觉建立、生活类比与分步拆解快捷键 M 切换
概念定义 · 什么是「表征工程(RepE)与激活引导」?

表征工程(RepE)与激活引导(Activation Steering) 是一套“不动权重、只调脑电波”的大模型操控术:研究者发现,“诚实”“幽默”“拒绝危险请求”等抽象性格在大模型内部的 残差流 里,竟然各自对应一条笔直的方向向量。只要在模型推理思考到一半时,沿着对应方向轻轻“推一把”或“清零”,无需重新训练,就能实时把模型调得更老实、更毒舌,甚至像测谎仪一样实时读出它有没有准备撒谎。

01 不靠写长提示词、也不微调权重,能操控模型吗? ​

想改变大模型的脾气和立场,过去只有两招:要么绞尽脑汁写几百字系统提示词(Prompt Engineering),但聊上十几轮模型就忘得一干二净;要么花大价钱收集数据做 SFT 或 RLHF 重训权重,改一次性格动辄成千上万美元,还容易把原本的好本事练丢。

2023 年,Zou 等人在 Representation Engineering ↗ 中提出了一个截然不同的“自上而下”思路:如果说神经电路分析是在用电子显微镜数一颗颗晶体管,那表征工程就像用核磁共振(fMRI)直接观察大脑的群体情绪脑区。既然人脑的喜怒哀乐都对应某种群体神经电活动模式,那大模型脑子里的“诚实”“奉承”“警惕”是不是也藏在某个固定的几何方向里?

核心设问

高层抽象概念在大模型几千维的隐状态里真的排成笔直的线性方向吗?如果只需几十对正反例句就能把这条方向抓出来,在推理中途直接做向量加减,究竟能精准到什么程度?

02 核心直觉:用“做减法”提纯性格方向,用“调音推子”实时转向 ​

这套方法背后的基石叫 线性表征假说(Linear Representation Hypothesis)(Park et al., 2023 ↗):在大模型的高维特征空间里,像“真 vs. 假”“礼貌 vs. 粗鲁”“拒绝 vs. 顺从”这样的概念,并非杂乱无章的曲线,而是一条条近乎直线的坐标轴。

怎么把这条看不见的轴找出来?对比激活加法(CAA, Rimsky et al., 2023 ↗) 的做法简单到令人拍案叫绝:

类比 · 厨师提纯“辣椒素”的对比称重法

你想知道“辣味”在菜肴成分表里长什么样,却不懂分子化学。最笨也最管用的办法是准备 100 对一模一样的菜:左边是不放辣椒的清汤面,右边是加了辣椒的同款红汤面。把 100 对菜的化学成分逐对相减再求平均——面条、青菜、盐巴的味道全抵消光了,最后剩下来的纯净差值,就是纯粹的 “辣味方向向量”!

在大模型里,只需让它读 100 对主题完全相同、仅极性相反的句子(例如“诚实回答 vs. 故意编造”),把模型第 15 层 残差流 的激活两两相减取平均,语言语法和具体话题全被抵消,剩下来的就是纯净的 “诚实方向向量”。

一旦拿到了这个方向向量,推理时的操控就跟调音台推子一样顺手:

类比 · 录音棚里的实时“混音推子”

推理时模型权重锁死不动。当输入句子流经第 15 层时,我们用 PyTorch 的 Forward Hook 顺手给激活向量加上 α 倍的“幽默方向”:推子往上推(α=+1.5),一本正经的助手立刻变身段子手;推子往下拉(α=−1.5),立刻变得严肃刻板;把推子拨回 0,模型毫发无伤地恢复原样!更进一步,拿激活和“撒谎方向”做个点积,就能在大模型开口吐字之前,提前看见它的“测谎仪指数”正在飙升。

类比 · 一刀戳破安全护栏的“安全门闩”

2024 年,Arditi 等人用同样的方法对十多款主流对齐大模型做了一次体检:把“拒绝危险请求”与“正常聊天”的激活相减,竟发现模型用来拒答违规问题的核心机制,高度集中在仅仅一根一维方向向量上!就像一整栋防盗大楼全靠门口一根细细的门闩顶着——只要在推理时把这根方向的信号拍扁归零,模型智商毫发无损,却瞬间对几乎所有危险请求有求必应。

把整个 RepE 与激活引导拆成落地操作,其实只需要极其轻量的三步流水线:

  1. 离线配对采样:准备 50~200 对仅目标属性相反的提示词(如“诚实 vs. 撒谎”),跑一遍纯前向推理,收集中段残差流末尾词元的激活向量。
  2. 提取概念方向:用对比均值差(CAA)或主成分分析(PCA)算出一根单位长度的方向向量 v^l,整个过程在单张消费级显卡上几秒钟就能完成。
  3. 在线读取或干预:推理时注册一个轻巧的 Forward Hook——只算点积就是“实时测谎仪(表征读取)”,加上 αv^l 就是“实时性格推子(激活引导)”,减去投影就是“定向擦除(方向消融)”。

03 把关键公式读成人话 ​

激活引导的两大核心操作——对比均值差提取 + 推理期加法引导,写出来比高中解析几何还清爽:

v^l=Normalize(1N∑i=1N(hl(pi+)−hl(pi−))),hl′=hl+αv^l

把公式读成直觉:左半边是找方向:把 N 组正例 pi+ 和反例 pi− 在第 l 层的隐状态相减平均,再归一成长度为 1 的标准箭头 v^l。右半边是推方向:推理跑到第 l 层时,直接把原状态 hl 沿着箭头 v^l 平移 α 步。只要步子 α 迈得适中,后续层依然认得这个状态,只是思考重心被顺滑地掰向了目标概念。

而震撼整个 AI 安全界的 “拒绝向量消融”(Arditi et al., 2024 ↗),只多了一步正交投影:

hl′←hl−(r^⊤hl)r^

为什么这一刀比直接减去常量更狠?:r^ 是用“有害请求 vs. 正常请求”减出来的拒绝方向。(r^⊤hl)r^ 精确算出当前激活里到底含了多少“想要拒绝”的分量,拿原向量减掉它,相当于在几何上把这一维信息彻底拍扁归零——平时正常聊天的向量本来就不含 r^ 分量,所以完全不受影响;只有触发安全警报的请求,它的警报信号会被精准静音!这也倒逼安全界抛弃脆弱的单方向拒答,转向多维表征重路由与 机器遗忘。

这项发现还引出了一个发人深省的安全启示:

  • 对攻击者:无需昂贵微调,单靠正交投影甚至可以把消融直接乘进模型输出矩阵里,一键造出“去对齐”版本。
  • 对防御者:它同样提供了极佳的“抗压体检工具”——新一代防越狱技术(如 Circuit Breakers)干脆在训练期就把危险表征打散到多维正交死区,让任何单方向消融都无从下手。

04 四种表征操控路线怎么选? ​

如果把表征干预与可解释性操控工具摆在同一张桌上对比,分工非常清晰:

操控方式需不需要改权重?样本与算力门槛最擅长干什么?
CAA / ActAdd否(推理实时推)几十对例句,几秒搞定快速调风格、性格、幽默度与奉承倾向
RepE(Zou et al., 2023 ↗)可选(Hook 或 LoRRA)百对对比样本兼顾实时表征测谎监控与跨层综合行为控制
ITI(Li et al., 2023 ↗)否(只推敏感头)需少量真假标注训探针微创抑制幻觉、显著提升回答真实性
定向消融(Ablation)可选一次性固化几十对有害/无害请求红队安全审计、暴露单方向对齐脆弱点
SAE 单义特征引导否(钳位潜变量)需预先训练高维 SAE概念最纯净、串扰最小,适合超精细科研调控

在整体大模型体系里,表征工程与多个核心模块紧密衔接:

  • 推理生成端:直接挂载在 解码采样 与 KV Cache 推理前向钩子中,零延迟损耗地完成风格和诚实度调控;
  • 安全对齐端:作为传统 RLHF / DPO 之外的轻量级白盒对齐补丁,并支撑 安全评估 中的隐状态测谎审计;
  • 权重干预端:与持久修改权重的 知识编辑与机器遗忘 形成“临时调音 vs. 永久手术”的清晰分工。

05 四个最容易踩的实战坑与安全启示 ​

  1. 别在第一层或最后一层硬推:浅层还在忙着拼词法、认标点,末层已经贴近具体字词的打分表,在这两头加向量极易把话改得支离破碎。绝大多数高层概念的最佳干预点都在模型的 中段层(总层数的 35%~65% 处)。
  2. 推子拉太满,模型变“复读机”:α 一旦超过安全边界,激活向量就会被推离模型见过的正常分布,模型会瞬间卡壳并疯狂重复同一个词。工程上一定要开启范数保持(拉完之后把向量长度缩回原来的大小),或者分散到连续几层各推一小步。
  3. 对比数据集夹带“私货”:如果你构造的正例全是长句、反例全是短句,或者正例开头全写着 "当然,",那你减出来的根本不是“乐于助人方向”,而是“话痨方向”!正反样本必须严格对齐句式和长度,只让目标概念这一件事发生变化。
  4. 安全防线绝不能只押注单方向拒绝:拒绝向量消融敲响了警钟——仅靠表层对齐学出的单向门闩一碰就碎,高安全场景必须把表征监测、表征重路由与深层遗忘结合起来筑牢纵深防线。

相比耗资巨大的重训,表征工程让我们第一次可以用极低成本“听见”模型的潜台词并实时微调方向盘,成为白盒对齐与安全审计的必备利器。

想查看 RepE / CAA / ITI / 定向消融 / SAE 引导的完整横向对比表、权重一次性正交固化公式,以及即插即用的 PyTorch ResidualSteeringContext 源码?按快捷键 M 或点击顶部 技术 Wiki 随时切换。

相较于自下而上(Bottom-Up)逐一解剖神经元与注意力头的电路分析,表征工程(Representation Engineering, RepE) 与 激活引导(Activation Steering) 采取“自上而下(Top-Down)”的群体表征视角:它直接以大模型隐空间中的高维群体激活向量作为研究与操控的基本单位。依托线性表征假说(Linear Representation Hypothesis, LRH),研究者只需用少量对比提示词即可抽取出“诚实”“阿谀奉承”“拒绝有害请求”“幽默风格”等高层抽象概念对应的方向向量(Steering Vector);在推理阶段无需修改任何模型权重,仅通过向中层残差流加减或正交投影该方向向量,就能实时监测并定向操控大模型的行为倾向。

直观理解

如果把传统微调(如 SFT 或 DPO)比作重新给汽车更换发动机与传动齿轮,那么 激活引导 就像在方向盘转向柱上加装一套精密的“电控微调力矩器”:车子的机械结构(模型权重)分毫未动,但只要在行驶途中(推理解码期)往“更诚实”或“更简洁”的坐标方向轻轻推一把,模型输出就会顺滑转向,松手瞬间又立刻恢复原貌。

起源背景与演进脉络 ​

早在词向量(Word2Vec)时代,著名的向量算术 v→King−v→Man+v→Woman≈v→Queen 就暗示了语义概念在神经网络中可能以线性方向编码。2023 年,Park 等人在 The Linear Representation Hypothesis 中从因果几何角度形式化论证了高层二元概念对应隐空间中的一维线性方向。

同年起,推理期激活干预迅速爆发并形成三条紧密交汇的技术主线:

  1. 推理期干预(ITI, Li et al., 2023):训练线性探针(Linear Probe)定位诚实度最敏感的注意力头,在推理期沿真实性方向平移激活,显著降低幻觉率。
  2. 激活加法与对比激活引导(ActAdd, Turner et al., 2023;CAA, Rimsky et al., 2023):无需训练探针,直接用正负对比样本对(如“礼貌回答 vs. 粗鲁回答”)在中层残差流的均值差向量作为引导方向,在 LLaMA-2 上实现对奉承、拒绝、政治倾向与幽默感的连续可调控制。
  3. 表征工程框架(RepE, Zou et al., 2023):系统化提出 表征读取(Representation Reading, LAT) 与 表征控制(Representation Control) 两大支柱,将诚实度、情绪、权力欲乃至道德偏好纳入统一的顶层透明化框架。

2024 年,Arditi 等人发表轰动安全社区的研究 Refusal in Language Models Is Mediated by a Single Direction:在十余款主流开源对齐大模型中,模型“拒绝有害请求”这一安全机制竟然高度集中在残差流中的单个一维方向上——将其做一次正交投影消融(Directional Ablation),即可几乎零损通用能力地彻底绕过安全护栏,深刻揭示了表层安全对齐的脆弱性与表征引导的双刃剑属性。

核心原理与数学推导 ​

1. 线性表征假说与概念读取(CAA / PCA) ​

给定待调控的高层语义概念 c(例如“诚实性”或“拒绝意图”),构造包含 N 组正负对比提示样本的数据集 Dc={(pi+,pi−)}i=1N(要求成对样本在语法与主题上高度对齐,仅在目标概念极性上相反)。收集模型第 l 层残差流在关键决策位置(如指令末尾词元或选项词元)的激活向量 hl(pi+),hl(pi−)∈Rd。

提取概念方向向量 vl∈Rd 主要有两种经典闭式估计方法:

  • 对比激活均值差(Difference-in-Means / CAA):直接计算成对激活差值的样本均值并单位归一化,抗噪稳健且极少过拟合:μl=1N∑i=1N(hl(pi+)−hl(pi−)),v^l=μl‖μl‖2
  • 线性人工断层扫描(RepE LAT / PCA):对差值矩阵 ΔHl∈RN×d(逐行随机翻转符号以消除均值偏置)提取第一主成分(最大方差方向):v^l=arg⁡max‖u‖2=1∑i=1N(u⊤(hl(pi+)−hl(pi−)))2

在监控阶段(Representation Reading),只需计算实时激活与概念方向的点积 st=v^l⊤hl(x≤t),即可逐词元绘制模型的“测谎仪曲线”或实时意图告警。

2. 激活加法引导(Additive Steering) ​

在推理前向传播经过第 l 层(或一组中层集合 L)时,通过施加缩放系数 α∈R 将残差流沿概念方向线性平移:

hl′(xt)=hl(xt)+α⋅v^l

当 α>0 时强化正向概念(如增强诚实、提升代码严谨度),当 α<0 时抑制或反转概念。由于后续层普遍包含 RMSNorm,为了避免大幅加法破坏激活范数分布,工程中常采用范数保持引导(Norm-Preserving Steering),将平移后的向量重缩回原始 L2 模长 ‖hl(xt)‖2。

3. 定向消融(Directional Ablation)与权重正交化 ​

针对“拒绝向量”等只需彻底擦除而非反转的特征方向 r^∈Rd(‖r^‖2=1),Arditi 等人采用正交补空间投影(Rank-1 Orthogonal Projection),在每一层将激活沿 r^ 的分量归零:

hl′←hl−(r^⊤hl)r^=(I−r^r^⊤)hl

更进一步,利用残差流的线性写入特性,该操作甚至可一次性固化进模型权重(无需推理期 Hook):对每个写入残差流的输出矩阵 Wout(包括嵌入矩阵 WE、注意力 WO、前馈 Wdown)左乘正交投影阵:

Wout′=(I−r^r^⊤)Wout

这使整个网络彻底丧失向 r^ 方向写入信号的能力。从安全防御视角看,这也催生了 Circuit Breakers(表征重路由) 等新型防越狱对齐技术——在训练期强迫有害请求的表征在多个维度正交坍缩,而不再脆弱地依赖单一拒绝方向。

架构与数据流 ​

下图展示了从对比样本离线提取概念向量,到推理解码期通过 Forward Hook 实施激活加法引导与方向消融的完整管线:

图表加载中...

表征干预方法横向对比 ​

技术方法方向提取方式干预机制权重修改典型优势与局限
CAA / ActAdd正负对比对均值差残差流线性加减 h+αv否仅需数十至数百样本,零训练开销;α 过大易引发复读崩溃
RepE (LAT + LoRRA)对比差值 PCA 第一主成分激活加减或轻量 LoRA 固化可选兼具实时表征监控与行为控制,支持跨层联合引导
ITI(推理期干预)逐注意力头线性探针 + 均值偏移仅偏移 Top-K 敏感注意力头输出否精准微创、对无关能力损伤极小,但需标注真假数据集训探针
Directional Ablation有害 vs. 无害请求均值差正交投影清除 (I−r^r^⊤)h可固化仅消除特定方向(如拒绝),暴露出单方向安全对齐的脆弱性
SAE 特征引导过完备稀疏字典单义列向量特征潜变量钳位 + 保留误差残差否概念最纯净、串扰最小,但前期训练大模型 SAE 成本高昂

核心 PyTorch 参考实现 ​

下面给出完整的 PyTorch 实现:支持通过 register_forward_hook 离线提取 CAA 对比引导向量,并在推理生成期实时执行范数保持激活引导或单方向正交消融:

python
import torch
import torch.nn as nn
import torch.nn.functional as F


@torch.no_grad()
def extract_caa_vector(
    model: nn.Module,
    target_layer: nn.Module,
    pos_batches: list[torch.Tensor],
    neg_batches: list[torch.Tensor],
) -> torch.Tensor:
    """从正负对比样本对中提取指定层最后一个词元的 CAA 单位方向向量"""
    cached = []

    def capture_hook(module, inp, out):
        # 兼容返回 tuple (hidden_states, ...) 或单个 Tensor 的 Decoder Layer
        hidden = out[0] if isinstance(out, tuple) else out
        cached.append(hidden[:, -1, :].detach().float().cpu())

    handle = target_layer.register_forward_hook(capture_hook)
    diffs = []
    try:
        for pos_ids, neg_ids in zip(pos_batches, neg_batches):
            cached.clear()
            model(pos_ids)
            h_pos = cached[-1]

            cached.clear()
            model(neg_ids)
            h_neg = cached[-1]
            diffs.append((h_pos - h_neg).mean(dim=0))
    finally:
        handle.remove()

    mean_diff = torch.stack(diffs, dim=0).mean(dim=0)
    return F.normalize(mean_diff, dim=-1)  # 单位方向向量 [d_model]


class ResidualSteeringContext:
    """上下文管理器:在推理前向中安全注入激活引导(additive)或正交消融(ablate)"""

    def __init__(
        self,
        target_layer: nn.Module,
        direction: torch.Tensor,
        alpha: float = 1.5,
        mode: str = "additive",
        preserve_norm: bool = True,
    ):
        self.target_layer = target_layer
        self.direction = F.normalize(direction.detach(), dim=-1)
        self.alpha = alpha
        self.mode = mode
        self.preserve_norm = preserve_norm
        self.handle = None

    def _hook(self, module, inp, out):
        is_tuple = isinstance(out, tuple)
        h = out[0] if is_tuple else out  # [B, N, d]
        v = self.direction.to(device=h.device, dtype=h.dtype)

        if self.mode == "additive":
            orig_norm = h.norm(dim=-1, keepdim=True)
            h_new = h + self.alpha * v
            if self.preserve_norm:
                h_new = h_new * (orig_norm / h_new.norm(dim=-1, keepdim=True).clamp_min(1e-6))
        elif self.mode == "ablate":
            # 正交投影清除方向 v:h - (h · v) v
            proj = torch.einsum("bnd,d->bn", h, v).unsqueeze(-1) * v
            h_new = h - proj
        else:
            raise ValueError(f"Unsupported steering mode: {self.mode}")

        return (h_new,) + out[1:] if is_tuple else h_new

    def __enter__(self):
        self.handle = self.target_layer.register_forward_hook(self._hook)
        return self

    def __exit__(self, exc_type, exc_val, exc_tb):
        if self.handle is not None:
            self.handle.remove()

工程实践与常见陷阱 ​

工程实践

  1. 层位选择的“中段黄金带”:实证表明,浅层(前 20%)主要编码词法与局部语法,末层(后 15%)高度绑定具体词表 Logits;高层次语义概念(诚实、风格、情绪、拒绝)的线性可分性几乎总是集中在模型的中段层(约 35% ~ 65% 深度),在此区间施加引导效果最自然。
  2. 仅对生成阶段或末尾词元施加引导:在 KV Cache 自回归生成中,可以选择仅在 Prefill 最后一个提示词元及后续 Decode 步注入向量,避免过度扭曲前置系统提示词的语义理解。
  3. 自动网格标定缩放系数 α:不同模型的残差流范数差异巨大(从几十到数千不等)。务必先把方向向量单位化,并将 α 设为该层激活平均 L2 范数的百分比(通常 2%∼15%),再结合困惑度(Perplexity)上限做自动扫描。

常见陷阱

  1. 过度引导诱发语言崩溃与复读:当 α 超过安全阈值时,激活被推离模型训练分布流形,输出会迅速退化为无意义的词汇重复或死循环。开启 范数保持(Norm Preservation) 或在多层分散施加小幅度引导能显著拓宽稳定窗口。
  2. 对比样本存在混杂变量(Confounders):若正样本恰好总是比负样本更长、或总以 "Sure," 开头,均值差向量提取出来的其实是“长度方向”或“肯定前缀方向”,而非目标概念。务必严格控制正负样本的模板结构、词长和主题分布。
  3. 表征安全防御切忌押注单一方向:拒绝向量消融证明,仅靠表层 RLHF / DPO 往往只在隐空间学出一个极易被绕过的浅层开关;高安全场景需结合多维表征重路由(Circuit Breakers)与深层机器遗忘构筑纵深防线。

延伸阅读与参考论文 ​

  • 表征工程奠基框架:Zou et al., Representation Engineering: A Top-Down Approach to AI Transparency, 2023 (arXiv:2310.01405 ↗).
  • 线性表征假说几何理论:Park et al., The Linear Representation Hypothesis and the Geometry of Large Language Models, ICML 2024 (arXiv:2311.03658 ↗).
  • 推理期干预与激活加法:Li et al., Inference-Time Intervention: Eliciting Truthful Answers from a Language Model, NeurIPS 2023 (arXiv:2306.03341 ↗); Turner et al., Steering Language Models With Activation Engineering, 2023 (arXiv:2308.10248 ↗).
  • 对比激活加法(CAA):Rimsky et al., Steering Llama 2 via Contrastive Activation Addition, ACL 2024 (arXiv:2312.06681 ↗).
  • 单方向拒绝向量消融:Arditi et al., Refusal in Language Models Is Mediated by a Single Direction, NeurIPS 2024 (arXiv:2406.11717 ↗).