Skip to content

旋转位置编码 RoPE 与长度外推全家桶

推导 RoPE 复数旋转与远程衰减,剖析 PI、NTK-Aware、YaRN 与 LongRoPE 长度外推。

当前:讲解模式 — 侧重直觉建立、生活类比与分步拆解快捷键 M 切换
概念定义 · 什么是旋转位置编码(RoPE)?

旋转位置编码(RoPE, Rotary Position Embedding) 是现代大语言模型(LLaMA、Qwen、DeepSeek、Mistral 等)事实上的位置编码标准。

它不把位置向量硬加到词嵌入里,也不在注意力分数上外挂偏置表,而是把每个词的查询向量 q 和键向量 k 按它所在的位置编号旋转对应角度——这样当两个词做点积算相关性时,绝对位置自动抵消,结果严格只取决于它们的相对距离 m−n。

01 问题从何而来 ​

如果你把 Transformer 里的 自注意力机制 剥开来看,会发现它有一个反直觉的先天缺陷:它天生“不分先后”。在数学上这叫置换等变性——如果不额外告诉模型每个词站在第几位,你把“猫追老鼠”打乱成“老鼠追猫”,自注意力算出来的关联权重只是跟着换了个顺序,模型根本察觉不到语义已经彻底反转。

类比 · 摇匀的词袋

没有位置编码的自注意力,就像把一整段话剪成一张张单词纸片,全部扔进布袋里摇匀再倒出来。你可以很容易看出哪两张纸片意思相近、该配成一对,但你完全失去了“谁在前面、谁在后面、俩词隔了多远”的秩序感。

为了找回语序,研究者在 RoPE(RoFormer, 2021 ↗)之前走过两条路(详见 位置编码演进),但两条路各自卡在了一个很别扭的地方:

  • 绝对位置编码(如原始 Transformer, 2017 ↗ 的正弦编码):直接给第 m 个词的 Token Embedding 加上“第 m 号座位”的向量 xm+pm。这就像给每个词盖上一枚写死坐标的邮戳——“第 1 页第 5 格”。可语言规律真正关心的是相对距离(主语和谓语紧挨着),而不是第 5 格还是第 505 格;推理长度一旦超出训练窗口,模型见到从未认识的新邮戳,表现立刻崩塌。
  • 相对位置偏置(如 T5 Bias ↗、ALiBi ↗):索性不在向量里做文章,而是在算完注意力分数矩阵 QK⊤ 之后,按距离 m−n 查一张“座位间距加减分表”直接加上去。这拿到了平移不变性,却打破了纯粹的“查询-键内积”结构,既难以接入 线性注意力,也让 FlashAttention 这种极致追求访存效率的分块内核多出额外偏置计算。
核心设问

能不能两全其美?我们只想在 qm 和 kn 身上各自动一次手脚(只依赖它自己的绝对位置 m 或 n),完全不改动后面的点积公式,但当它们撞在一起做点积时,结果却神奇地只取决于相对距离 m−n?

02 二维平面上的几何直觉:多指针钟表 ​

把视线从高维空间暂时收回到一张二维白纸上,答案其实出奇朴素。

平面上两个向量的点积等于“长度乘长度,再乘夹角余弦”。如果我们既不拉伸也不压缩它们,仅仅把第 m 个位置的向量绕原点逆时针转过 mθ 角度,把第 n 个位置的向量绕原点逆时针转过 nθ 角度,会发生什么?

第一,两个向量的模长纹丝不动,原本承载的语义强度没有被扭曲;第二,旋转之后两根箭头的夹角变成了原夹角加上 (m−n)θ。哪怕把同一句话从文章第 10 个词整体搬到第 1000 个词,两根箭头只是手拉手一起顺着圆周多转了 990 步,彼此之间的夹角丝毫未变,点积自然一分不差。

交互图示 · 相对位移不变性试着点击“同步平移”,观察夹角与点积是否纹丝不动
q_mk_n
Query 位置 mm = 4
Key 位置 nn = 1
相对距离 m − n+3
旋转后点积0.932

不过,如果整个向量只用同一个转速 θ 旋转,转满 360∘ 就会转回原点——模型会把“相隔 1 个词”和“相隔 11 个词”混为一谈。

类比 · 拥有 64 根指针的机械手表

RoPE 破解“转一圈就重样”的办法,和人类发明时钟的思路如出一辙:别只用一根指针,用一整组转速从快到慢的指针。

一个 128 维的注意力头会被两两配对成 64 个二维圆盘,就像一块装了 64 根指针的精密手表。最前面的几对维度是秒针(高频 θi 大),每走一个词就转一大格,对隔壁两个字的语序极其敏感,能精准分辨近距离语法修饰;最后面的几对维度则是时针甚至年历针(低频 θi 极小),走几千个词才缓缓挪动几度,专门负责记住“这一段话和文章开头隔了多远”。

把所有指针的读数合在一起看,在实用文本长度内几乎不会出现“全部指针同时撞车”的现象。

03 数学形式与把公式读成直觉 ​

有了“多指针钟表”的画面,再看公式就不再抽象。对偶数维注意力头 d,第 i 根指针的角速度按几何级数递减:

θi=b−2i/d,i∈{0,1,…,d/2−1},b=10000

**把公式读成直觉:**当 i=0 时,θ0=1 弧度/词(每走约 6.28 个词转满一圈,是最快的秒针);当 i 接近 d/2 时,θi≈10−4 弧度/词(走超过 62,800 个词才转满一圈,是最慢的时针)。基频 b 决定了最慢那根时针的“表盘量程”——调大 b,表盘量程就随之拉长。

旋转后的查询与键直接送进点积,凭借旋转矩阵的正交群性质,绝对位置 m,n 自动抵消,只剩相对位移 n−m:

⟨RΘ,mdqm,RΘ,ndkn⟩=qm⊤RΘ,n−mdkn

为什么它还能自然“厚近薄远”?:随着距离 |m−n| 拉大,64 根转速不同的指针彼此越走越散,有的指向正向、有的指向负向,互相干涉抵消,就像一大群步伐频率不同的行人走远后脚步声彼此中和。这种现象叫远程衰减——它没有粗暴砍掉远距离连接,而是温和地提醒模型:“默认优先关注近邻,除非远处的内容语义强到足以盖过相位抵消。”

04 模型架构中的精确位置 ​

初学者最常混淆的一点是:传统位置编码只在最底部的 Token Embedding 层加一次,而 RoPE 是在每一层 Transformer Block 内部反复注入的——它紧贴在 RMSNorm 与 WQ,WK 投影之后、注意力打分之前,并且绝不碰 V 向量。

类比 · 图书馆寻书:为何只转 Q、K 而不转 V?

可以把自注意力想象成去图书馆找资料:Q 是你手里的检索条,K 是书架上的索引标签,V 是书本里的正文内容。给 Q 和 K 施加 RoPE,相当于在检索条和索引标签上同时拨好时间刻度,让你判断“这本书离我刚才读的那一页有多远”;可一旦算好权重、决定把书搬回桌上时,你要带走的是书里原汁原味的知识(V)。如果连 V 也跟着旋转,等于把取出来的知识本身拧歪了,反而干扰后续 前馈网络 (FFN / SwiGLU) 对语义的理解。

05 从 RoPE 到百万上下文:调校表盘齿轮 ​

RoPE 虽然天然编码了相对位置,但并不意味着“训练 4K 就能免费推理 128K”。用刚才的多指针手表马上就能看懂原因:

类比 · 为什么超长文本会“表盘越界”?

假设模型训练时只读过 4K 长度,意味着它的秒针(高频) 早就转过几百圈,什么角度都见惯了;可最慢的那几根时针(低频) 在训练期一共只走过“12 点到 2 点”这一小段扇形。推理时突然塞进 32K 文本,时针第一次走到“6 点、9 点”这种从未见过的角度区域,注意力权重瞬间失控。

于是后续所有长度外推算法(详见 长上下文建模与稀疏注意力),本质上都在做同一件事——怎么调校表盘齿轮,让时针别越界,同时又别把秒针调糊?

方法核心改动钟表类比
PI 位置插值 (arXiv ↗)m←m/s整块表齿轮统一放慢 s 倍;时针安全了,但秒针也变慢,相邻词变糊
NTK / ABF (arXiv ↗)b←b⋅α拉大基频 b,秒针几乎不动,时针大幅放慢,免微调即可扩展 4–8×
YaRN (arXiv ↗)分频段斜坡 + 温度缩放制表师分区调校:秒针不动、时针插值、分针过渡,并补偿注意力失焦
Decoupled RoPE (arXiv ↗)MLA 拆分独立位置子头给位置单独配一块小表,不和低秩压缩的语义通道混在一起,保住矩阵吸收

06 三个最容易踩的工程坑 ​

  1. KV Cache 存的是“旋转之后”的 K:像图书馆把新书贴上“入馆时间戳”就封存入库,只需写入缓存前转一次,后面每生成一个新词只旋转新词的 qt,kt,历史几万个 Key 不用重算。
  2. 角度表必须用 FP32 算:BF16 尾数位太少,32K 以上长度算 mθi 会发生舍入混叠,就像手表秒针卡顿粘连;工业实现一律先用 FP32 算完 cos/sin 再按需转回 BF16。
  3. 跨框架权重注意 Half-Split 与 Interleaved 差异:HuggingFace LLaMA/Qwen 把前半段与后半段配对,原版 RoFormer 把偶奇相邻维度配对;二者仅差一次通道置换,混用相当于把所有指针装错表盘,输出立刻乱码。

需要查阅完整形式化定义、三代位置编码演进史、六种优化模式详情与工业级 YaRNRoPE 代码?按快捷键 M 或点击顶部 技术 Wiki 即可随时切换。

旋转位置编码(Rotary Position Embedding, RoPE) 由苏剑林等人在 RoFormer(2021)中提出,现已成为 LLaMA、Qwen、Mistral、Gemma、DeepSeek 等几乎所有现代大语言模型的默认 位置编码 方案。RoPE 以极其优雅的复数几何形式,在 自注意力 的 Q,K 向量上实现了 “通过绝对位置操作,在内积空间精确涌现相对位置信息”,并进一步衍生出 PI、NTK-Aware、YaRN、LongRoPE 等一整套 长上下文建模 外推算法生态,也在 DeepSeek MLA 架构 中演化出解耦 RoPE 变体。

直观理解

可以把 RoPE 想象成一块由多根转速不同的指针组成的“多维表盘”:每个词元的 Q 和 K 向量被两两配对视为平面上的指针,词元排在第 m 位,就把它的指针顺时针旋转 mθ 角度。当位置 m 的 Query 和位置 n 的 Key 做点积计算夹角时,两根指针的相对夹角只取决于 (m−n)θ——无论这两个词出现在文章开头还是末尾,只要相距一样远,它们的几何相对关系就完全一致!

问题动机与演进背景 ​

在 RoPE 出现之前,位置编码陷入二元对立:

  • 绝对位置编码实现简单、兼容线性注意力,但无法显式维持平移不变性,长度外推困难;
  • 相对位置偏置(T5 Bias 等) 具备平移不变性,但需在注意力分数矩阵上显式加偏置,打破了线性注意力的核分解结构,也增加了工程耦合。

RoPE 提出了一个直击本质的数学问题:能否寻找一种仅依赖当前向量与绝对位置 m 的映射函数 f(x,m),使得施加在 Query(位置 m)和 Key(位置 n)上的变换在计算点积时,结果严格只依赖于 q,k 本身以及相对位置 m−n?

⟨fq(q,m),fk(k,n)⟩=g(q,k,m−n)

核心原理与数学推导 ​

二维复数推导与高维分块旋转矩阵 ​

在二维平面 R2≅C 中,将向量 q=(q1,q2)⊤ 表示为复数 q=q1+iq2。两个二维实向量的内积等于其复数形式的共轭内积实部:

⟨q,k⟩=Re[qk∗]

若令位置编码变换为乘以单位复数旋转因子 eimθ:

f(q,m)=qeimθ,f(k,n)=keinθ

则内积自然满足相对位置不变性:

⟨f(q,m),f(k,n)⟩=Re[(qeimθ)(keinθ)∗]=Re[qk∗ei(m−n)θ]

写回二维实数矩阵形式,乘以 eimθ 等价于左乘二维正交旋转矩阵:

Rθ,m=(cos⁡mθ−sin⁡mθsin⁡mθcos⁡mθ),Rθ,m⊤Rθ,n=Rθ,n−m

对于任意偶数头维度 d,RoPE 将向量两两分组为 d/2 个正交二维子平面,构造分块对角旋转矩阵 RΘ,md∈Rd×d:

RΘ,md=diag(Rθ0,m,Rθ1,m,…,Rθd/2−1,m)

其中各组频率角速度按几何级数递减(默认基频 b=10000,现代长文本模型常调大至 500000 或 1000000):

θj=b−2j/d,j∈{0,1,…,d/2−1}

由于分块对角矩阵高度稀疏,实际前向传播无需构造 d×d 矩阵,只需两次逐元素乘加(O(d) 复杂度):

RΘ,mdx=(x0x1x2x3⋮xd−2xd−1)⊙(cos⁡mθ0cos⁡mθ0cos⁡mθ1cos⁡mθ1⋮cos⁡mθd/2−1cos⁡mθd/2−1)+(−x1x0−x3x2⋮−xd−1xd−2)⊙(sin⁡mθ0sin⁡mθ0sin⁡mθ1sin⁡mθ1⋮sin⁡mθd/2−1sin⁡mθd/2−1)

远程衰减特性(Long-Term Decay) ​

利用复数求和与阿贝尔变换(Abel Transformation),令 hj=q[2j:2j+1]k[2j:2j+1]∗ 并设部分和 Sj=∑r=0j−1ei(m−n)θr,可推导出点积上界:

|Re[∑j=0d/2−1hjei(m−n)θj]|≤maxj|hj+1−hj|∑j=0d/2−1|Sj+1|

当相对距离 |m−n| 增大时,几何级数频率的相位之和 ∑|Sj+1| 呈现出自然的震荡衰减趋势。这赋予了 RoPE 温和的局部归纳偏置,同时由于其旋转矩阵是正交的(∥RΘ,mdx∥2=∥x∥2),不会改变向量范数,保证了深层训练的数值稳定性。

长度外推全家桶:从 PI 到 YaRN 与 LongRoPE ​

当测试序列长度 L′ 超出预训练上下文长度 L(设缩放倍率 s=L′/L>1)时,低频维度旋转角度超出了训练期间见过的分布范围(OOD 旋转角),导致困惑度急剧恶化。针对这一现象,社区围绕“如何变换位置索引 m 与频率 θj”演化出四大核心方法:

  1. PI(Position Interpolation,位置插值,Chen et al., 2023) 将位置索引线性压缩回训练区间 [0,L]:

    m′=ms⟺θj′=θjs

    局限:所有频率一视同仁地放慢 s 倍,严重压扁了高频维度(相邻词元间相位差缩小 s 倍),导致局部精细分辨力受损,需要较多微调步数恢复短距精度。

  2. NTK-Aware 缩放(bloc97, 2023) 基于神经正切核(NTK)理论——高频信息难以通过插值区分,而低频信息需要拉伸外推。NTK-Aware 不直接缩放位置 m,而是增大基频 b:

    b′=b⋅sdd−2⟹θj′=(b′)−2j/d=θj⋅s−2jd−2

    观察指数项:当 j=0(最高频)时缩放因子为 1(完全不压缩,保留局部高分辨率);当 j=d/2−1(最低频)时缩放因子恰好等于 1/s(等价于位置插值)。这相当于实现了一种免训练即可外推的非线性插值。

  3. YaRN(Yet another RoPE extensioN, Peng et al., 2023) YaRN 进一步提出 NTK-by-parts 分频段策略与注意力温度修正。定义第 j 维的波长 λj=2πθj 以及该维度在原训练长度 L 内转过的圈数 rj=Lλj:

    • 高频维度(rj>β):训练时已转过多圈,外推不会 OOD,保持原频率不插值;
    • 低频维度(rj<α):训练时连一圈都没转满,必须完全线性插值(除以 s);
    • 中频过渡带(α≤rj≤β):通过线性斜坡函数 γ(rj)∈[0,1] 平滑混合:
    θjYaRN=(1−γ(rj))θjs+γ(rj)θj

    其中默认超参 α=1,β=32。此外,YaRN 发现外推后注意力分布熵增大,需将 Softmax 温度额外乘以修正系数(或等价地同时缩放 Q,K 的模长 t):

    1t=0.1ln⁡(s)+1
  4. LongRoPE(Ding et al., 2024) 突破手工设计规则的限制,利用进化搜索(Evolutionary Search) 为每一个频率维度 θj 寻找非均匀的最优独立缩放因子 λj,同时对序列开头的若干初始词元(保留 Attention Sink)不施加重插值,仅用极少微调数据即可将上下文扩展至 2M 词元级别。

算法架构与数据流图 ​

图表加载中...

复杂度与横向对比表 ​

外推方法频率调整策略高频局部细节低频外推稳定性额外微调需求代表落地模型
原生 RoPEθj=b−2j/d极佳极差(超 L 即崩)—LLaMA-1 (2K)
PI(位置插值)均匀压缩 θj/s受损明显良好需中等微调早期 LLaMA-2 32K 社区版
ABF(增大基频)直接调高 b(如 10K → 1M)极佳极佳(需长语料续训)需长上下文持续预训练LLaMA-3 (500K), Qwen2.5 (1M)
NTK-Awareb′=b⋅sd/(d−2)良好中等(临界长度有衰减)可零训练即插即用CodeLlama 早期外推
YaRN分频段插值 + 注意力温度缩放极佳极佳仅需原预训练 0.1% 语料DeepSeek-V2/V3, Qwen2.5 扩展
LongRoPE进化搜索逐维非均匀缩放极佳极佳(支持 2M 级)极少渐进式微调Phi-3-128K

核心 PyTorch 参考实现 ​

下面给出完整、支持 原生 RoPE 与 YaRN 外推(含分频段斜坡与温度缩放因子) 的工业级实现(采用 HuggingFace/LLaMA 的半切分旋转布局 rotate_half):

python
import math
import torch
import torch.nn as nn


def rotate_half(x: torch.Tensor) -> torch.Tensor:
    """将最后一维对半切分并交换符号:[-x_{d/2:}, x_{:d/2}]"""
    x1 = x[..., : x.shape[-1] // 2]
    x2 = x[..., x.shape[-1] // 2 :]
    return torch.cat((-x2, x1), dim=-1)


def apply_rotary_pos_emb(
    q: torch.Tensor, k: torch.Tensor, cos: torch.Tensor, sin: torch.Tensor
) -> tuple[torch.Tensor, torch.Tensor]:
    # q, k: [B, H, N, d_h]; cos, sin: [1, 1, N, d_h]
    q_rot = (q * cos) + (rotate_half(q) * sin)
    k_rot = (k * cos) + (rotate_half(k) * sin)
    return q_rot, k_rot


class YaRNRoPE(nn.Module):
    def __init__(
        self,
        head_dim: int,
        base: float = 10000.0,
        orig_max_len: int = 4096,
        scale_factor: float = 1.0,  # >1.0 时自动激活 YaRN 外推
        beta_fast: float = 32.0,
        beta_slow: float = 1.0,
    ):
        super().__init__()
        assert head_dim % 2 == 0
        self.head_dim = head_dim
        self.scale_factor = scale_factor

        # 1. 基础逆频率 theta_j: [d_h / 2]
        idx = torch.arange(0, head_dim, 2, dtype=torch.float32)
        inv_freq_extrap = 1.0 / (base ** (idx / head_dim))

        if scale_factor <= 1.0:
            inv_freq = inv_freq_extrap
            self.mscale = 1.0
        else:
            # 2. YaRN 分频段计算:波长与训练期旋转圈数 r_j
            inv_freq_interp = inv_freq_extrap / scale_factor
            wavelengths = 2.0 * math.pi / inv_freq_extrap
            rotations = orig_max_len / wavelengths  # r_j

            # 线性斜坡函数 gamma(r_j) 裁剪到 [0, 1]
            # 高频(r > beta_fast) -> 1 (不插值); 低频(r < beta_slow) -> 0 (全插值)
            ramp = (rotations - beta_slow) / (beta_fast - beta_slow)
            gamma = torch.clamp(ramp, 0.0, 1.0)
            inv_freq = (1.0 - gamma) * inv_freq_interp + gamma * inv_freq_extrap

            # 3. 注意力温度修正系数 sqrt(1/t) = 0.1 * ln(s) + 1
            self.mscale = 0.1 * math.log(scale_factor) + 1.0

        self.register_buffer("inv_freq", inv_freq, persistent=False)

    def forward(self, seq_len: int, device: torch.device, dtype: torch.dtype):
        # 生成位置索引并计算外积 m * theta_j: [N, d_h / 2]
        t = torch.arange(seq_len, device=device, dtype=torch.float32)
        freqs = torch.outer(t, self.inv_freq.to(device))
        # 与 rotate_half 对齐拼接: [N, d_h]
        emb = torch.cat([freqs, freqs], dim=-1)
        # 将 mscale 合并进 cos/sin(等价于同时放缩 Q 和 K)
        cos = (emb.cos() * self.mscale)[None, None, :, :].to(dtype)
        sin = (emb.sin() * self.mscale)[None, None, :, :].to(dtype)
        return cos, sin


if __name__ == "__main__":
    rope_yarn = YaRNRoPE(head_dim=128, orig_max_len=4096, scale_factor=8.0)
    q = torch.randn(2, 8, 1024, 128)
    k = torch.randn(2, 8, 1024, 128)
    cos, sin = rope_yarn(seq_len=1024, device=q.device, dtype=q.dtype)
    q_rot, k_rot = apply_rotary_pos_emb(q, k, cos, sin)
    print("Rotated Q shape:", q_rot.shape, "YaRN mscale:", round(rope_yarn.mscale, 4))

工程实践与常见陷阱 ​

工程实践

  1. 配对布局的等价性与兼容性:RoPE 有两种常见的维度配对实现——相邻交错配对 (0,1), (2,3), ...(原始论文、GPT-NeoX 部分实现、DeepSeek 原始核)与 前后对半配对 (0, d/2), (1, d/2+1), ...(HuggingFace LLaMA/Qwen 标准实现)。两者在数学上完全同构(仅相差一个固定列置换),但加载预训练权重时必须严格匹配对应布局,否则位置信息会彻底错乱!
  2. FP32 频率表计算:在计算 inv_freq 与 cos/sin 角度矩阵时务必保持 FP32(甚至 FP64)精度,直到生成最终三角函数值后再转换为 BF16。在 BF16 下直接计算大位置索引 m * theta 会因尾数位仅有 7 bit 而产生严重相位量化锯齿,直接破坏长文本检索精度。
  3. ABF(Adjusted Base Frequency)渐进扩窗:现代长上下文大模型(LLaMA-3、Qwen2.5)最稳健的训练范式并非单靠免训外推,而是在持续预训练阶段将基频 b 从 10,000 逐步调高至 500,000 或 1,000,000(ABF),并喂入真实长文档语料,再在推理超限时叠加 YaRN。

常见陷阱

  1. 错误把 RoPE 施加到 Value 向量:RoPE 只应作用于 Q 和 K 向量;若错误施加到 V 向量上,会使加权聚合后的输出内容附带绝对旋转相位,破坏残差流特征语义。
  2. 多样本拼接(Sequence Packing)忘记重置位置 ID:在预训练或微调中将多条短样本打包进同一长序列时,不仅要构造块对角注意力掩码,还必须将每条新样本的 position_ids 重置从 0 开始,否则后续样本会被迫在高绝对位置偏移下训练,影响推理一致性。
  3. YaRN 温度修正双重叠加:在 MLA 或自定义 Attention 中应用 YaRN 时,既可以把 mscale 乘入 cos/sin(同时缩放 Q,K),也可以直接将注意力缩放系数 softmax_scale 乘以 mscale**2,但切忌两处同时乘入导致过度锐化。

延伸阅读与参考论文 ​

  • RoPE 原始论文:Su et al., RoFormer: Enhanced Transformer with Rotary Position Embedding, Neurocomputing 2024 (arXiv:2104.09864 ↗, 2021).
  • 位置插值 PI:Chen et al., Extending Context Window of Large Language Models via Positional Interpolation, arXiv:2306.15595 ↗, 2023.
  • YaRN 外推方法:Peng et al., YaRN: Efficient Context Window Extension of Large Language Models, ICLR 2024 (arXiv:2309.00071 ↗).
  • RoPE 基频缩放律:Liu et al., Scaling Laws of RoPE-based Extrapolation, ICLR 2024 (arXiv:2310.05209 ↗).
  • 进化搜索非均匀外推:Ding et al., LongRoPE: Extending LLM Context Window Beyond 2 Million Tokens, ICML 2024 (arXiv:2402.13753 ↗).