外观
概念定义 · 什么是旋转位置编码(RoPE)?
旋转位置编码(RoPE, Rotary Position Embedding) 是现代大语言模型(LLaMA、Qwen、DeepSeek、Mistral 等)事实上的位置编码标准。
它不把位置向量硬加到词嵌入里,也不在注意力分数上外挂偏置表,而是把每个词的查询向量
01 问题从何而来
如果你把 Transformer 里的 自注意力机制 剥开来看,会发现它有一个反直觉的先天缺陷:它天生“不分先后”。在数学上这叫置换等变性——如果不额外告诉模型每个词站在第几位,你把“猫追老鼠”打乱成“老鼠追猫”,自注意力算出来的关联权重只是跟着换了个顺序,模型根本察觉不到语义已经彻底反转。
类比 · 摇匀的词袋
没有位置编码的自注意力,就像把一整段话剪成一张张单词纸片,全部扔进布袋里摇匀再倒出来。你可以很容易看出哪两张纸片意思相近、该配成一对,但你完全失去了“谁在前面、谁在后面、俩词隔了多远”的秩序感。
为了找回语序,研究者在 RoPE(RoFormer, 2021 ↗)之前走过两条路(详见 位置编码演进),但两条路各自卡在了一个很别扭的地方:
- 绝对位置编码(如原始 Transformer, 2017 ↗ 的正弦编码):直接给第
个词的 Token Embedding 加上“第 号座位”的向量 。这就像给每个词盖上一枚写死坐标的邮戳——“第 1 页第 5 格”。可语言规律真正关心的是相对距离(主语和谓语紧挨着),而不是第 5 格还是第 505 格;推理长度一旦超出训练窗口,模型见到从未认识的新邮戳,表现立刻崩塌。 - 相对位置偏置(如 T5 Bias ↗、ALiBi ↗):索性不在向量里做文章,而是在算完注意力分数矩阵
之后,按距离 查一张“座位间距加减分表”直接加上去。这拿到了平移不变性,却打破了纯粹的“查询-键内积”结构,既难以接入 线性注意力,也让 FlashAttention 这种极致追求访存效率的分块内核多出额外偏置计算。
核心设问
能不能两全其美?我们只想在
02 二维平面上的几何直觉:多指针钟表
把视线从高维空间暂时收回到一张二维白纸上,答案其实出奇朴素。
平面上两个向量的点积等于“长度乘长度,再乘夹角余弦”。如果我们既不拉伸也不压缩它们,仅仅把第
第一,两个向量的模长纹丝不动,原本承载的语义强度没有被扭曲;第二,旋转之后两根箭头的夹角变成了原夹角加上
交互图示 · 相对位移不变性试着点击“同步平移”,观察夹角与点积是否纹丝不动
相对距离 m − n+3
旋转后点积0.932
不过,如果整个向量只用同一个转速
类比 · 拥有 64 根指针的机械手表
RoPE 破解“转一圈就重样”的办法,和人类发明时钟的思路如出一辙:别只用一根指针,用一整组转速从快到慢的指针。
一个 128 维的注意力头会被两两配对成 64 个二维圆盘,就像一块装了 64 根指针的精密手表。最前面的几对维度是秒针(高频
把所有指针的读数合在一起看,在实用文本长度内几乎不会出现“全部指针同时撞车”的现象。
03 数学形式与把公式读成直觉
有了“多指针钟表”的画面,再看公式就不再抽象。对偶数维注意力头
**把公式读成直觉:**当
旋转后的查询与键直接送进点积,凭借旋转矩阵的正交群性质,绝对位置
为什么它还能自然“厚近薄远”?:随着距离
04 模型架构中的精确位置
初学者最常混淆的一点是:传统位置编码只在最底部的 Token Embedding 层加一次,而 RoPE 是在每一层 Transformer Block 内部反复注入的——它紧贴在 RMSNorm 与
类比 · 图书馆寻书:为何只转 Q、K 而不转 V?
可以把自注意力想象成去图书馆找资料:
05 从 RoPE 到百万上下文:调校表盘齿轮
RoPE 虽然天然编码了相对位置,但并不意味着“训练 4K 就能免费推理 128K”。用刚才的多指针手表马上就能看懂原因:
类比 · 为什么超长文本会“表盘越界”?
假设模型训练时只读过 4K 长度,意味着它的秒针(高频) 早就转过几百圈,什么角度都见惯了;可最慢的那几根时针(低频) 在训练期一共只走过“12 点到 2 点”这一小段扇形。推理时突然塞进 32K 文本,时针第一次走到“6 点、9 点”这种从未见过的角度区域,注意力权重瞬间失控。
于是后续所有长度外推算法(详见 长上下文建模与稀疏注意力),本质上都在做同一件事——怎么调校表盘齿轮,让时针别越界,同时又别把秒针调糊?
| 方法 | 核心改动 | 钟表类比 |
|---|---|---|
| PI 位置插值 (arXiv ↗) | 整块表齿轮统一放慢 | |
| NTK / ABF (arXiv ↗) | 拉大基频 | |
| YaRN (arXiv ↗) | 分频段斜坡 + 温度缩放 | 制表师分区调校:秒针不动、时针插值、分针过渡,并补偿注意力失焦 |
| Decoupled RoPE (arXiv ↗) | MLA 拆分独立位置子头 | 给位置单独配一块小表,不和低秩压缩的语义通道混在一起,保住矩阵吸收 |
06 三个最容易踩的工程坑
- KV Cache 存的是“旋转之后”的 K:像图书馆把新书贴上“入馆时间戳”就封存入库,只需写入缓存前转一次,后面每生成一个新词只旋转新词的
,历史几万个 Key 不用重算。 - 角度表必须用 FP32 算:BF16 尾数位太少,32K 以上长度算
会发生舍入混叠,就像手表秒针卡顿粘连;工业实现一律先用 FP32 算完 cos/sin再按需转回 BF16。 - 跨框架权重注意 Half-Split 与 Interleaved 差异:HuggingFace LLaMA/Qwen 把前半段与后半段配对,原版 RoFormer 把偶奇相邻维度配对;二者仅差一次通道置换,混用相当于把所有指针装错表盘,输出立刻乱码。
需要查阅完整形式化定义、三代位置编码演进史、六种优化模式详情与工业级
YaRNRoPE代码?按快捷键M或点击顶部技术 Wiki即可随时切换。
旋转位置编码(Rotary Position Embedding, RoPE) 由苏剑林等人在 RoFormer(2021)中提出,现已成为 LLaMA、Qwen、Mistral、Gemma、DeepSeek 等几乎所有现代大语言模型的默认 位置编码 方案。RoPE 以极其优雅的复数几何形式,在 自注意力 的
直观理解
可以把 RoPE 想象成一块由多根转速不同的指针组成的“多维表盘”:每个词元的
问题动机与演进背景
在 RoPE 出现之前,位置编码陷入二元对立:
- 绝对位置编码实现简单、兼容线性注意力,但无法显式维持平移不变性,长度外推困难;
- 相对位置偏置(T5 Bias 等) 具备平移不变性,但需在注意力分数矩阵上显式加偏置,打破了线性注意力的核分解结构,也增加了工程耦合。
RoPE 提出了一个直击本质的数学问题:能否寻找一种仅依赖当前向量与绝对位置
核心原理与数学推导
二维复数推导与高维分块旋转矩阵
在二维平面
若令位置编码变换为乘以单位复数旋转因子
则内积自然满足相对位置不变性:
写回二维实数矩阵形式,乘以
对于任意偶数头维度
其中各组频率角速度按几何级数递减(默认基频
由于分块对角矩阵高度稀疏,实际前向传播无需构造
远程衰减特性(Long-Term Decay)
利用复数求和与阿贝尔变换(Abel Transformation),令
当相对距离
长度外推全家桶:从 PI 到 YaRN 与 LongRoPE
当测试序列长度
PI(Position Interpolation,位置插值,Chen et al., 2023) 将位置索引线性压缩回训练区间
: 局限:所有频率一视同仁地放慢
倍,严重压扁了高频维度(相邻词元间相位差缩小 倍),导致局部精细分辨力受损,需要较多微调步数恢复短距精度。 NTK-Aware 缩放(bloc97, 2023) 基于神经正切核(NTK)理论——高频信息难以通过插值区分,而低频信息需要拉伸外推。NTK-Aware 不直接缩放位置
,而是增大基频 : 观察指数项:当
(最高频)时缩放因子为 (完全不压缩,保留局部高分辨率);当 (最低频)时缩放因子恰好等于 (等价于位置插值)。这相当于实现了一种免训练即可外推的非线性插值。 YaRN(Yet another RoPE extensioN, Peng et al., 2023) YaRN 进一步提出 NTK-by-parts 分频段策略与注意力温度修正。定义第
维的波长 以及该维度在原训练长度 内转过的圈数 : - 高频维度(
):训练时已转过多圈,外推不会 OOD,保持原频率不插值; - 低频维度(
):训练时连一圈都没转满,必须完全线性插值(除以 ); - 中频过渡带(
):通过线性斜坡函数 平滑混合:
其中默认超参
。此外,YaRN 发现外推后注意力分布熵增大,需将 Softmax 温度额外乘以修正系数(或等价地同时缩放 的模长 ): - 高频维度(
LongRoPE(Ding et al., 2024) 突破手工设计规则的限制,利用进化搜索(Evolutionary Search) 为每一个频率维度
寻找非均匀的最优独立缩放因子 ,同时对序列开头的若干初始词元(保留 Attention Sink)不施加重插值,仅用极少微调数据即可将上下文扩展至 2M 词元级别。
算法架构与数据流图
图表加载中...
复杂度与横向对比表
| 外推方法 | 频率调整策略 | 高频局部细节 | 低频外推稳定性 | 额外微调需求 | 代表落地模型 |
|---|---|---|---|---|---|
| 原生 RoPE | 极佳 | 极差(超 | — | LLaMA-1 (2K) | |
| PI(位置插值) | 均匀压缩 | 受损明显 | 良好 | 需中等微调 | 早期 LLaMA-2 32K 社区版 |
| ABF(增大基频) | 直接调高 | 极佳 | 极佳(需长语料续训) | 需长上下文持续预训练 | LLaMA-3 (500K), Qwen2.5 (1M) |
| NTK-Aware | 良好 | 中等(临界长度有衰减) | 可零训练即插即用 | CodeLlama 早期外推 | |
| YaRN | 分频段插值 + 注意力温度缩放 | 极佳 | 极佳 | 仅需原预训练 | DeepSeek-V2/V3, Qwen2.5 扩展 |
| LongRoPE | 进化搜索逐维非均匀缩放 | 极佳 | 极佳(支持 2M 级) | 极少渐进式微调 | Phi-3-128K |
核心 PyTorch 参考实现
下面给出完整、支持 原生 RoPE 与 YaRN 外推(含分频段斜坡与温度缩放因子) 的工业级实现(采用 HuggingFace/LLaMA 的半切分旋转布局 rotate_half):
python
import math
import torch
import torch.nn as nn
def rotate_half(x: torch.Tensor) -> torch.Tensor:
"""将最后一维对半切分并交换符号:[-x_{d/2:}, x_{:d/2}]"""
x1 = x[..., : x.shape[-1] // 2]
x2 = x[..., x.shape[-1] // 2 :]
return torch.cat((-x2, x1), dim=-1)
def apply_rotary_pos_emb(
q: torch.Tensor, k: torch.Tensor, cos: torch.Tensor, sin: torch.Tensor
) -> tuple[torch.Tensor, torch.Tensor]:
# q, k: [B, H, N, d_h]; cos, sin: [1, 1, N, d_h]
q_rot = (q * cos) + (rotate_half(q) * sin)
k_rot = (k * cos) + (rotate_half(k) * sin)
return q_rot, k_rot
class YaRNRoPE(nn.Module):
def __init__(
self,
head_dim: int,
base: float = 10000.0,
orig_max_len: int = 4096,
scale_factor: float = 1.0, # >1.0 时自动激活 YaRN 外推
beta_fast: float = 32.0,
beta_slow: float = 1.0,
):
super().__init__()
assert head_dim % 2 == 0
self.head_dim = head_dim
self.scale_factor = scale_factor
# 1. 基础逆频率 theta_j: [d_h / 2]
idx = torch.arange(0, head_dim, 2, dtype=torch.float32)
inv_freq_extrap = 1.0 / (base ** (idx / head_dim))
if scale_factor <= 1.0:
inv_freq = inv_freq_extrap
self.mscale = 1.0
else:
# 2. YaRN 分频段计算:波长与训练期旋转圈数 r_j
inv_freq_interp = inv_freq_extrap / scale_factor
wavelengths = 2.0 * math.pi / inv_freq_extrap
rotations = orig_max_len / wavelengths # r_j
# 线性斜坡函数 gamma(r_j) 裁剪到 [0, 1]
# 高频(r > beta_fast) -> 1 (不插值); 低频(r < beta_slow) -> 0 (全插值)
ramp = (rotations - beta_slow) / (beta_fast - beta_slow)
gamma = torch.clamp(ramp, 0.0, 1.0)
inv_freq = (1.0 - gamma) * inv_freq_interp + gamma * inv_freq_extrap
# 3. 注意力温度修正系数 sqrt(1/t) = 0.1 * ln(s) + 1
self.mscale = 0.1 * math.log(scale_factor) + 1.0
self.register_buffer("inv_freq", inv_freq, persistent=False)
def forward(self, seq_len: int, device: torch.device, dtype: torch.dtype):
# 生成位置索引并计算外积 m * theta_j: [N, d_h / 2]
t = torch.arange(seq_len, device=device, dtype=torch.float32)
freqs = torch.outer(t, self.inv_freq.to(device))
# 与 rotate_half 对齐拼接: [N, d_h]
emb = torch.cat([freqs, freqs], dim=-1)
# 将 mscale 合并进 cos/sin(等价于同时放缩 Q 和 K)
cos = (emb.cos() * self.mscale)[None, None, :, :].to(dtype)
sin = (emb.sin() * self.mscale)[None, None, :, :].to(dtype)
return cos, sin
if __name__ == "__main__":
rope_yarn = YaRNRoPE(head_dim=128, orig_max_len=4096, scale_factor=8.0)
q = torch.randn(2, 8, 1024, 128)
k = torch.randn(2, 8, 1024, 128)
cos, sin = rope_yarn(seq_len=1024, device=q.device, dtype=q.dtype)
q_rot, k_rot = apply_rotary_pos_emb(q, k, cos, sin)
print("Rotated Q shape:", q_rot.shape, "YaRN mscale:", round(rope_yarn.mscale, 4))工程实践与常见陷阱
工程实践
- 配对布局的等价性与兼容性:RoPE 有两种常见的维度配对实现——相邻交错配对
(0,1), (2,3), ...(原始论文、GPT-NeoX 部分实现、DeepSeek 原始核)与 前后对半配对(0, d/2), (1, d/2+1), ...(HuggingFace LLaMA/Qwen 标准实现)。两者在数学上完全同构(仅相差一个固定列置换),但加载预训练权重时必须严格匹配对应布局,否则位置信息会彻底错乱! - FP32 频率表计算:在计算
inv_freq与cos/sin角度矩阵时务必保持 FP32(甚至 FP64)精度,直到生成最终三角函数值后再转换为 BF16。在 BF16 下直接计算大位置索引m * theta会因尾数位仅有 7 bit 而产生严重相位量化锯齿,直接破坏长文本检索精度。 - ABF(Adjusted Base Frequency)渐进扩窗:现代长上下文大模型(LLaMA-3、Qwen2.5)最稳健的训练范式并非单靠免训外推,而是在持续预训练阶段将基频
从 10,000逐步调高至500,000或1,000,000(ABF),并喂入真实长文档语料,再在推理超限时叠加 YaRN。
常见陷阱
- 错误把 RoPE 施加到 Value 向量:RoPE 只应作用于
和 向量;若错误施加到 向量上,会使加权聚合后的输出内容附带绝对旋转相位,破坏残差流特征语义。 - 多样本拼接(Sequence Packing)忘记重置位置 ID:在预训练或微调中将多条短样本打包进同一长序列时,不仅要构造块对角注意力掩码,还必须将每条新样本的
position_ids重置从0开始,否则后续样本会被迫在高绝对位置偏移下训练,影响推理一致性。 - YaRN 温度修正双重叠加:在 MLA 或自定义 Attention 中应用 YaRN 时,既可以把
mscale乘入cos/sin(同时缩放),也可以直接将注意力缩放系数 softmax_scale乘以mscale**2,但切忌两处同时乘入导致过度锐化。
延伸阅读与参考论文
- RoPE 原始论文:Su et al., RoFormer: Enhanced Transformer with Rotary Position Embedding, Neurocomputing 2024 (arXiv:2104.09864 ↗, 2021).
- 位置插值 PI:Chen et al., Extending Context Window of Large Language Models via Positional Interpolation, arXiv:2306.15595 ↗, 2023.
- YaRN 外推方法:Peng et al., YaRN: Efficient Context Window Extension of Large Language Models, ICLR 2024 (arXiv:2309.00071 ↗).
- RoPE 基频缩放律:Liu et al., Scaling Laws of RoPE-based Extrapolation, ICLR 2024 (arXiv:2310.05209 ↗).
- 进化搜索非均匀外推:Ding et al., LongRoPE: Extending LLM Context Window Beyond 2 Million Tokens, ICML 2024 (arXiv:2402.13753 ↗).