Skip to content

位置编码演进:从绝对编码到 ALiBi 与 NoPE

对比绝对正弦、可学习位置编码、T5 相对偏置、ALiBi 线性偏置与无位置编码 NoPE 的数学机制与外推能力。

当前:讲解模式 — 侧重直觉建立、生活类比与分步拆解快捷键 M 切换
概念定义 · 什么是位置编码(Positional Encoding)?

自注意力机制是并行把所有词两两配对的,它本身完全不知道词的先后顺序——在没有位置信息时,“猫追狗”和“狗追猫”在它眼里只是同一袋词。

位置编码(Positional Encoding) 就是用来给每个词贴上“顺序标签”的机制:早期直接把位置坐标加到词向量上(绝对位置编码),后来改为在注意力打分时按词距加减分(相对位置偏置 / ALiBi),最终演进到现代大模型统一采用的旋转位置编码(RoPE)。

01 问题从何而来:天生“脸盲词序”的自注意力 ​

如果不加任何位置提示,Transformer 里的 自注意力机制 根本分不清“猫追老鼠”和“老鼠追猫”。在数学上这叫置换等变性(Permutation Equivariance)——对自注意力来说,句子不是排好队的序列,而是一袋散装的词元集合。你把输入顺序怎么打乱,输出特征只是原样跟着换了个位子,语义关系纹丝不动。

类比 · 撒在桌上的单词卡片

想象把“我 / 爱 / 写 / 代码”四张单词卡片胡乱撒在桌子上。没有位置编码的自注意力,就像一个只看卡片内容、不看摆放位置的机器人——它能看出“写”和“代码”很配,但完全不知道谁排第 1、谁排第 4,也分不清“狗咬人”和“人咬狗”。

为了给这袋散装卡片重新建立秩序,研究者花了七八年时间,围绕两个核心目标一路演进:第一,能否精准表达两个词相隔多远(相对距离);第二,训练时只读过 4K 字,推理时塞进 32K 字还能不能不崩(长度外推)?

核心设问

给词元标注“我在哪”有无数种做法:直接贴门牌号、在连线上写距离、旋转向量相位,甚至干脆什么都不加。这些路线各自付出了什么代价,又为何一步步走到了今天的混合方案?

02 核心直觉:四代位置编码的四种“找位置”办法 ​

把过去几年的主流位置编码摊开来看,其实就像人类在黑暗大厅里辨别座位的四种生活思路:

类比 · 四种“认座位”的方法
  1. 绝对位置编码(贴固定门牌号):
    • 正弦编码(Transformer, 2017 ↗) 像用一组快慢不同的波浪条形码,给第 1、2、3 号座位盖上独一无二的印章,直接加进 Token Embedding。
    • 可学习编码(BERT / GPT-2) 干脆买一张固定长度的座位表,让模型自己背熟每个座位的向量。缺点非常致命:训练最大长度是 1024,来个第 1025 个词,表里根本查无此座,直接宕机!
  2. 相对位置偏置(在连线上标“隔了几排”):
    • T5 Bias(Raffel et al., 2020 ↗) 不再给座位贴号,而是在算完注意力分数后,按两词距离查一张“对数分桶加减分表”加上去——近处一格一格精细区分,远处按大区间合并,可超出最大桶距就成了“模糊远方”。
    • ALiBi(Press et al., 2022 ↗) 把这个想法简化到极致:连查表参数都删掉!直接按距离扣分——离我越远,我就线性扣你越多分。
  3. 旋转位置编码(RoPE):给每个词元配一块多指针手表,按绝对位置旋转 Q,K 向量,点积时自然涌现出相对夹角,成为现代大模型主力。
  4. 无位置编码(NoPE,Kazemnejad et al., 2023 ↗):干脆彻底撤掉所有显式编码!研究者惊讶地发现,只要有单向因果掩码,位置信息其实早就藏在“排队视野”里了。
类比 · 为什么 NoPE 什么都不加,模型居然还能数出自己排第几?

想象一排人站成单列纵队往前走,每个人都只能回头看排在自己前面的所有人,而且队首站着一个举着红旗的领队(<bos>)。

如果每个人回头扫一眼,把前面所有人的颜色平均混合一下:排第 1 的人看到 100% 红旗,排第 2 的人看到 50% 红旗,排第 10 的人看到 10% 红旗……光凭红旗被稀释的浓度 1/t,经过后面 前馈网络(FFN) 轻轻一算,每个人都能精确倒推出自己排在第几位!因果掩码本身就是一把隐形标尺。

03 把关键公式读成人话 ​

先看最具代表性的极简外推方案 ALiBi,它在注意力 Softmax 之前只做了一次减法:

Attentionh(qi,K,V)=softmax(qi⊤K⊤dk−mh⋅[i−1,…,1,0])V

**把公式读成直觉:**括号里第一项是常规语义匹配分,第二项 −mh⋅(i−j) 就是“距离罚分”:紧挨着自己的词距离为 0,不扣分;隔了 10 个词,就扣掉 10mh 分。

绝妙之处在于不同注意力头的斜率 mh 按几何级数排开(比如 12,14,18,…,1256):大斜率头扣分极狠,只盯着身边三五个词,天然专职局部语法;小斜率头扣分极轻,视野放得很宽,专门负责翻阅几千字前的远距离线索。因为斜率固定不变、没有学死的边界,训练 1K 长度直接外推 16K 困惑度也不会炸。

再回头看 2017 年经典的绝对正弦位置编码:

PE(pos,2i)=sin(pos100002i/d),PE(pos,2i+1)=cos(pos100002i/d)

为什么当年偏偏选正弦和余弦?:因为三角函数满足和角公式,位置 pos+k 的编码恰好是位置 pos 编码的一次固定线性旋转!当年作者希望模型能借此学会相对位移——可惜这组编码是直接加在输入词嵌入上的,进了深层经过非线性投影后,那层精巧的线性关系就被搅乱了,外推能力远不如后来直接把旋转搬到 Q,K 点积里的 RoPE。

04 它在模型里怎么工作 & 与上下游的关系 ​

不同位置编码在 Transformer 里的“插槽位置”完全不同,直接决定了工程兼容性:

  • 输入端相加(Sinusoidal / Learned):只在最底部的 Token Embedding 处加一次,往后每层靠网络自己记住位置,越深越容易稀释。
  • 注意力打分加偏置(T5 Bias / ALiBi):在每一层算完 QK⊤ 之后加上去。虽然省了输入干扰,但显式加二维偏置表会给 FlashAttention 添麻烦(好在 ALiBi 斜率简单,FlashAttention-2 已能在片上 SRAM 实时算出来)。
  • 乘性旋转与前沿混合(RoPE + NoPE):在百万级 长上下文建模 中,纯 ALiBi 对超远距离扣分太狠导致“大海捞针”召回弱,而纯 RoPE 超长外推需要调参。因此最新架构(如 Llama-4 的 iRoPE)开始采用 局部滑窗 RoPE + 全局全注意力 NoPE 交替混排,兼得近处精准定位与超远距离无损直连。

05 演化对比:不同位置方案的代际取舍 ​

把六大主流位置编码放在同一张桌面横向比对,演进逻辑非常清晰——从早期的“写死坐标”,逐步走向“内积涌现相对位置”与“局部/全局混合分工”:

方案注入位置可学习参数长度外推性远距离精准检索代表模型
Sinusoidal PE输入相加0差弱原始 Transformer
Learned PE输入相加Nmax⋅d无(硬上限)中BERT, GPT-2
T5 Relative Bias分数加偏置H×32中(桶截断)中弱T5, Flan-T5
ALiBi分数减线性项0强(PPL 稳)偏弱(强近邻偏置)BLOOM, MPT
RoPEQ,K 旋转0配合 YaRN 极强强(现代主流)LLaMA, Qwen, DeepSeek
NoPE / 混合因果掩码隐式0中强配合 RoPE 极强Llama-4 (iRoPE)

总体来看,绝对位置编码已退居历史舞台,T5 / ALiBi 在中短程与免训 PPL 外推上完成了承上启下的使命,而今天的通用大模型主战场完全属于 RoPE 及其外推全家桶 以及面向千万级上下文的 RoPE + NoPE 混合层。

06 三个最容易踩的工程坑 ​

  1. 别把“困惑度(PPL)很稳”当成“真看懂了长文”:ALiBi 在超长文本上 PPL 极低,很大程度是因为它强行忽略了远处的词,只靠最近几千字预测下一词;一测“把暗号藏在开头第 500 字”的大海捞针任务,召回率往往明显落后于长训后的 RoPE 模型。
  2. 用正弦编码时,输入嵌入忘了乘 d:词嵌入初始化通常很小,直接加上幅值在 [−1,1] 之间的正弦波会把词义信号完全淹没;原始 Transformer 务必先将词嵌入放大 dmodel 再加位置编码。
  3. 手写 ALiBi 偏置别傻傻存成巨型张量:在 32K 长度下,显式构造 [1, H, N, N] 的偏置矩阵会瞬间吃光显存;接入 FlashAttention 时只需传入长度为 H 的一维 alibi_slopes 向量即可零显存开销融合。

想查阅置换等变性的严格矩阵证明、正弦和角公式推导,以及支持任意头数的 get_alibi_slopes 完整 PyTorch 实现?按快捷键 M 或点击顶部 技术 Wiki 随时切换。

纯 自注意力机制 本质上是一种集合运算(Set Operation):如果不提供任何位置信息,把输入句子中的词元任意打乱,输出的每个词元表征只是跟着发生相同的置换。这种置换等变性(Permutation Equivariance) 虽然赋予了 Transformer 全局并行能力,却也使其天生丧失了感知词序的机制。位置编码(Positional Encoding, PE) 正是为弥补这一盲区而生的核心组件,并围绕“语义建模精度”与“长上下文 外推能力(Length Extrapolation)”演进出绝对编码、ALiBi、RoPE 与 NoPE 等多条技术路线。

直观理解

可以把无位置编码的注意力想象成把一堆写着单词的卡片撒在桌面上——无论卡片怎么排,“猫追狗”和“狗追猫”在模型眼中完全一样。绝对位置编码相当于给每张卡片贴上固定编号“第 1 号、第 2 号”;相对位置偏置(如 T5、ALiBi) 则是直接在两张卡片的连线上标出“相距几步远”;而 NoPE 则发现,因果掩码本身已经像“单行道队列”一样隐式暴露了先后顺序。

问题动机与演进背景 ​

设序列输入矩阵为 X∈RN×d,任意置换矩阵 P∈{0,1}N×N 满足 P⊤P=I。对于不带因果掩码的标准自注意力:

Attention(PXWQ,PXWK,PXWV)=softmax(PQK⊤P⊤dk)PV=P⋅Attention(Q,K,V)

可见无位置编码的双向注意力完全无法区分词序。一个理想的位置编码方案应同时满足四项性质:

  1. 唯一性:每个位置对应唯一可区分的表征。
  2. 相对距离一致性:任意相距 Δ 的词元对 (m,m+Δ) 在不同绝对起点处应呈现一致的关系。
  3. 长度外推性(Extrapolation):在长度 Ltrain 上训练后,能稳定泛化至 Ltest≫Ltrain 的未见序列长度。
  4. 低计算开销:不引入显著的显存或矩阵算力负担,兼容 FlashAttention 等高效核。

围绕这些目标,位置编码经历了 绝对位置(Sinusoidal / Learned)→ 相对偏置(T5 Bias / ALiBi)→ 旋转编码(RoPE)与无显式编码(NoPE) 的清晰演化轨迹。

核心原理与数学推导 ​

1. 绝对正弦位置编码(Sinusoidal PE) ​

Vaswani 等人(2017)使用不同几何频率的正弦与余弦波为位置 pos∈{0,…,N−1} 生成固定编码向量 PEpos∈Rd,并直接加到词嵌入上:

PE(pos,2i)=sin(pos100002i/d),PE(pos,2i+1)=cos(pos100002i/d)

其核心数学动机在于三角函数的和角公式——任意偏移量 k 对应的位置编码 PEpos+k 可以表示为 PEpos 的线性变换:

(sin⁡(ωi(pos+k))cos⁡(ωi(pos+k)))=(cos⁡(ωik)sin⁡(ωik)−sin⁡(ωik)cos⁡(ωik))(sin⁡(ωipos)cos⁡(ωipos))

其中 ωi=10000−2i/d。低维分量频率高(周期短,捕捉局部细粒度位置),高维分量频率低(周期长,类似二进制编码的高位)。但在实际深层网络中,词嵌入与位置编码相加后再经过非线性投影 WQ,WK,这一精巧的相对线性关系会被破坏,导致其长度外推效果很差。

2. 可学习绝对位置编码(Learned PE) ​

BERT、GPT-2、ViT 等经典模型直接将位置编码设为一张可训练查表参数矩阵 Epos∈RNmax×d,在训练中端到端学习:

H(0)=Etok(x)+Epos[0:N]

在预设长度 N≤Nmax 内拟合效果略优于正弦编码,但完全丧失外推能力:一旦推理长度超出 Nmax,超出部分的位置向量从未参与过梯度更新,模型直接失效。

3. T5 相对位置偏置(T5 Relative Position Bias) ​

与在输入端叠加位置不同,Shaw 等人(2018)和 T5(Raffel et al., 2020)选择在每一层的注意力得分矩阵上直接叠加一个仅依赖相对距离 i−j 的可学习标量偏置:

Attention(Q,K,V)=softmax(QK⊤dk+B)V,Bij(h)=b(h)(bucket(i−j))

T5 的核心技巧是对数分桶(Logarithmic Bucketing):将近距离(如 |i−j|<16)精确映射到独立桶中,而将远距离按对数尺度压缩到有限个桶(总共仅 32 个可学习标量/头),超出最大截断距离(如 128)的词元全部落入最后一个桶。T5 偏置具备一定外推能力,但超出截断距离后无法区分更远的位置差异,且显式加法偏置矩阵对 FlashAttention 内存优化不够友好。

4. ALiBi(Attention with Linear Biases) ​

Press 等人(2022)提出 ALiBi,完全移除词嵌入处的位置向量,也不引入任何可学习位置参数,而是直接在每个注意力头的得分矩阵上减去一个与相对距离成正比的固定线性惩罚项:

softmax(qi⊤K⊤/dk−mh⋅[i−1,…,1,0])

即对位置 i≥j,偏置为:

Bij(h)=−mh⋅(i−j)

其中不同注意力头的斜率 mh>0 按几何级数固定设定。当头数 H=2k(如 H=8)时:

mh=2−8hH,h∈{1,2,…,H}⟹{12,14,18,…,128}

若 H 非 2 的幂次,则先取最接近且小于 H 的 2k 生成一组,再以步长减半补足剩余斜率。几何斜率的物理意义极为直观:大斜率头强力惩罚远距离词元,被迫专职局部语法与近邻聚合;小斜率头衰减缓慢,自然负责长程全局上下文检索。由于偏置单调递减,ALiBi 在“短训长测(如 1K 训练、外推至 16K)”上表现出极低的困惑度(PPL)膨胀,被 BLOOM、MPT、Baichuan-13B 等模型采用。

5. NoPE(No Positional Encoding) ​

Kazemnejad 等人(2023)在研究中揭示了一个令人惊讶的理论结果:带因果掩码的 Decoder-Only Transformer 即使完全不加任何显式位置编码(NoPE),依然具备表达绝对与相对位置的能力。

其机理源于因果掩码破坏了置换对称性:位置 t 的词元能看到前 t 个词元,而位置 t+1 能看到前 t+1 个词元。假设第一层某个注意力头对所有词元赋予近似均匀的权重 1/t,且首词元(<bos>)携带标志向量 e0,则该头在第 t 个位置输出中 e0 的系数恰为 1/t,经过后续 FFN 非线性映射即可精准恢复出绝对位置 t 与相对距离!不过,在现代超长上下文大海捞针(NIAH)检索任务中,纯 NoPE 的长程衰减仍显不足,工业界最新探索(如 SmolLM3、Llama-4 局部/全局混合层)倾向于采用 RoPE 与 NoPE 交替混合(Hybrid RoPE-NoPE),以兼得短程精准定位与长程低漂移泛化。

算法架构与数据流图 ​

下图对比了三大类位置信息注入路径在 Transformer 中的作用位置差异:

图表加载中...

复杂度与横向对比表 ​

位置编码方案注入位置额外可学习参数长度外推能力远距离精准检索代表模型
Sinusoidal PE输入 Embedding 相加0差(PPL 迅速崩溃)弱原始 Transformer
Learned PE输入 Embedding 相加Nmax⋅d无(硬截断不可外推)中(限训练长度内)BERT, GPT-2, OPT
T5 Relative BiasAttention Logits 相加H×32(每层或共享)中(桶截断后丧失分辨力)中弱T5, Flan-T5
ALiBiAttention Logits 相加0强(困惑度平稳外推)偏弱(强局部衰减偏置)BLOOM, MPT, Baichuan-13B
RoPEQ,K 向量乘性旋转0中(配合 NTK/YaRN 极强)强(主流标准)LLaMA, Qwen, DeepSeek
NoPE无(靠因果掩码隐式诱导)0中强(PPL 稳健)需配合 RoPE 混合层Llama-4(局部-全局混合)

核心 PyTorch 参考实现 ​

以下代码完整实现正弦位置编码与 ALiBi 斜率及偏置矩阵的生成逻辑:

python
import math
import torch
import torch.nn as nn


class SinusoidalPositionalEncoding(nn.Module):
    def __init__(self, d_model: int, max_len: int = 4096):
        super().__init__()
        pe = torch.zeros(max_len, d_model)
        position = torch.arange(0, max_len, dtype=torch.float32).unsqueeze(1)  # [L, 1]
        div_term = torch.exp(
            torch.arange(0, d_model, 2, dtype=torch.float32) * (-math.log(10000.0) / d_model)
        )
        pe[:, 0::2] = torch.sin(position * div_term)
        pe[:, 1::2] = torch.cos(position * div_term)
        self.register_buffer("pe", pe.unsqueeze(0), persistent=False)  # [1, L, d_model]

    def forward(self, x: torch.Tensor) -> torch.Tensor:
        # x: [B, N, d_model]
        return x + self.pe[:, : x.size(1), :].to(x.dtype)


def get_alibi_slopes(n_heads: int) -> torch.Tensor:
    """生成 ALiBi 论文标准几何斜率序列,支持任意头数"""
    def power_of_2_slopes(n: int):
        ratio = 2 ** (-8 / n)
        return [ratio ** (i + 1) for i in range(n)]

    if math.log2(n_heads).is_integer():
        slopes = power_of_2_slopes(n_heads)
    else:
        closest_pow2 = 2 ** math.floor(math.log2(n_heads))
        slopes = power_of_2_slopes(closest_pow2)
        extra = power_of_2_slopes(2 * closest_pow2)[0::2][: n_heads - closest_pow2]
        slopes.extend(extra)
    return torch.tensor(slopes, dtype=torch.float32)


def build_alibi_causal_bias(n_heads: int, seq_len: int, device=None) -> torch.Tensor:
    """构造形状为 [1, H, N, N] 的 ALiBi 因果注意力偏置矩阵"""
    slopes = get_alibi_slopes(n_heads).to(device).view(1, n_heads, 1, 1)  # [1, H, 1, 1]
    pos = torch.arange(seq_len, device=device)
    # 相对距离矩阵 rel_dist[i, j] = j - i (下三角非正,上三角为正)
    rel_dist = pos.unsqueeze(0) - pos.unsqueeze(1)  # [N, N]
    alibi = slopes * rel_dist.unsqueeze(0).unsqueeze(0)  # [1, H, N, N]
    causal_mask = torch.triu(
        torch.ones(seq_len, seq_len, device=device, dtype=torch.bool), diagonal=1
    )
    return alibi.masked_fill(causal_mask, float("-inf"))


if __name__ == "__main__":
    sin_pe = SinusoidalPositionalEncoding(d_model=256)
    x = torch.zeros(2, 16, 256)
    print("Sinusoidal output:", sin_pe(x).shape)

    alibi_bias = build_alibi_causal_bias(n_heads=8, seq_len=6)
    print("ALiBi slopes (H=8):", get_alibi_slopes(8).tolist())
    print("ALiBi bias head 0:\n", alibi_bias[0, 0])

工程实践与常见陷阱 ​

工程实践

  1. ALiBi 与 FlashAttention 的融合:在 FlashAttention-2/3 中,无需在 HBM 中显式物化 [1,H,N,N] 的 ALiBi 偏置张量,只需传入长度为 H 的一维 alibi_slopes 向量,内核会在片上 SRAM 中实时计算 −mh(i−j),几乎零显存开销。
  2. 现代混合架构趋势(iRoPE / RoPE+NoPE):最新超长上下文模型(如 Llama-4 Scout 的 10M 上下文设计)采用“3 层局部滑窗 RoPE + 1 层全局全注意力 NoPE”的交替排布(iRoPE),利用 RoPE 精准捕捉局部依赖,同时借助无显式衰减的 NoPE 层实现跨百万词元的无损信息路由。

常见陷阱

  1. 将 PPL 稳定误等同于有效长上下文理解:ALiBi 在超长序列上困惑度(PPL)极低,但原因往往是其强线性衰减迫使模型只依赖最近几千个词元——在“大海捞针(Needle-in-a-Haystack)”测试中,ALiBi 对位于上下文首部的关键事实检索召回率显著弱于经过长上下文持续预训练的 RoPE 模型。
  2. 输入词嵌入与正弦编码的量级失衡:原始 Transformer 在加上正弦位置编码前,必须先将词嵌入乘以 dmodel(即 Etokd+PE),因为词嵌入初始化方差通常较小(如 1/d),不缩放会导致语义信息被幅值在 [−1,1] 之间的位置波完全淹没。
  3. NoPE 的推理温度退火需求:纯 NoPE 模型在外推超长序列时,由于注意力熵随上下文长度增长而扩散,推理时常需对全局注意力层引入对数尺度温度缩放(如乘以 1+αlog⁡(1+⌊i/s⌋))以保持注意力锐度。

延伸阅读与参考论文 ​

  • 正弦位置编码:Vaswani et al., Attention Is All You Need, NeurIPS 2017 (arXiv:1706.03762 ↗).
  • 相对位置注意力先驱:Shaw et al., Self-Attention with Relative Position Representations, NAACL 2018 (arXiv:1803.02155 ↗).
  • T5 对数分桶偏置:Raffel et al., Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer, JMLR 2020 (arXiv:1910.10683 ↗).
  • ALiBi 线性偏置:Press et al., Train Short, Test Long: Attention with Linear Biases Enables Input Length Extrapolation, ICLR 2022 (arXiv:2108.12409 ↗).
  • NoPE 理论与外推:Kazemnejad et al., The Impact of Positional Encoding on Length Generalization in Transformers, NeurIPS 2023 (arXiv:2305.19466 ↗).