外观
概念定义 · 什么是长上下文建模与稀疏注意力?
让大模型一口气读完一整本小说、整个代码仓库或上百份财报(128K 到 1M+ Token),面临三大拦路虎:位置编码越界崩塌、注意力
长上下文全链路技术 把位置外推(YaRN/ABF)、持续长文本训练、原生稀疏注意力(如 DeepSeek NSA / MoBA,只精算最相关的局部与远端块) 和大海捞针(NIAH/RULER)评测串在一起,让模型既装得下、算得动,又真正找得到。
01 为什么要发明它:百万字上下文的“三重死结”
早期的大语言模型像金鱼一样健忘:输入超过 2048 或 4096 个词元,后面的话就彻底读不进去了。可现实世界里,工程师想把整个代码仓库扔给模型排查 Bug,律师想让模型一口气审完三百页并购合同,研究员想一次读完几十篇论文做跨文献综述。
把窗口直接拉长到 128K 甚至 1M 听起来只是改个配置文件数字,但 自注意力机制 立刻会在三个地方同时卡死:
- 位置越界崩盘:在 4K 长度上练熟的 RoPE 旋转位置编码,突然碰到第 50,000 号位置,慢速旋转的低频角度从未在训练时出现过,注意力打分瞬间错乱,输出直接变成胡言乱语。
- 算力平方爆炸:两两词元全连接意味着序列长度翻 10 倍,计算量翻 100 倍。哪怕有 FlashAttention 省掉了中间注意力矩阵显存,1M 文本的预填充(Prefill)算力依然贵得惊人。
- 记忆缓存撑爆显存:每生成一个新字,GPU 都要把历史上全部 KV Cache 重新从显存搬进计算核心。对于一个 70B 参数的模型,1M 长度光是一条请求的缓存就要吃掉上百 GB 显存,带宽彻底卡成瓶颈。
类比 · 把一整座图书馆铺满书桌
标准全量自注意力就像一位极度认真的学者:每写一个新句子,都要把桌上铺开的每一页、每一个字全部重新扫一遍,逐字确认有没有关联。
桌子只有 4 页纸时游刃有余;可一旦桌上堆满 100 万字,光是低头翻找一遍就要花掉半天,书桌本身也早被压塌了。
核心设问
能不能既让模型看得懂 100 万字里的每一处关键伏笔,又不必每次落笔都把前文百万字逐字重读一遍?换句话说:如何让位置编码平稳拉伸,同时教注意力学会“挑重点看”?
02 核心直觉:像人类一样读长书的三板斧
仔细想想,人脑读一本百万字长篇小说时是怎么做的?你绝不会在读到第 800 页时,把当前这句话和前面 799 页里的每一个逗号两两比对。你的阅读策略天然包含三层机制,而长上下文算法几乎一比一复刻了这套直觉:
第一板斧:分区调松表盘,别让刻度爆表(ABF / YaRN)
把 RoPE 想象成一块由几十根快慢指针组成的精密手表。把窗口从 4K 拉到 128K 时,如果把所有指针硬生生放慢 32 倍,低频时针安全了,但高频秒针也跟着变钝,相邻两个词的语序立刻糊成一团。
YaRN(arXiv:2309.00071 ↗)的做法像老练制表师分区调校:秒针(高频局部语序)原封不动,时针(低频远距刻度)按比例放慢,分针平滑过渡,再顺手调低一点 Softmax 温度,防止词元变多后注意力被摊得太散。随后再喂几十亿词元的长代码和整本书做渐进式继续预训练(4K
第二板斧:留住开篇“定海神针”,丢掉路人废话(Attention Sink & KV 驱逐)
StreamingLLM(arXiv:2309.17453 ↗)发现了一个极反直觉的现象:即使文章最开头几个词元(如 <bos> 或开场白)毫无语义信息,各层注意力头也会把海量权重倒在它们身上。原因藏在 Softmax 必须相加等于 1 的铁律里——当当前词在前面找不到强相关对象时,多余的概率质量必须找一个永远在场的“泄洪口”倾倒。
只要死死锁住开头 4 个注意力汇(Attention Sink) 再配一个滑动窗口,模型就能用恒定显存永不崩溃地无限输出。而 H2O(arXiv:2306.14048 ↗)和 SnapKV(arXiv:2404.14469 ↗)则发现 90% 的注意力只集中在极少数“重击手”词元身上,于是专门留下这些高频核心词,把路人甲词元清出缓存。
第三板斧:从训练第一天就学“先看目录再翻页”(原生稀疏注意力)
推理时临时扔掉 KV 终究是亡羊补牢——训练时模型习惯了看全貌,考试时突然遮住它 80% 的笔记,难题难免掉点。DeepSeek 的 NSA(arXiv:2502.11089 ↗)与 Kimi 的 MoBA(arXiv:2502.13189 ↗)干脆把稀疏结构直接写进预训练和硬件分块内核里,让模型天生掌握“跳读 + 精读”的高效本领。
类比 · 侦探读百万字卷宗的三重视野
可以把 DeepSeek NSA 想象成一位老练侦探翻阅百本卷宗时的三只眼睛:
- 第一只眼看“章节提要”(粗粒度块压缩):把每几十页压缩成一条提要,一秒扫描全案脉络,知道哪几本卷宗最可疑;
- 第二只眼翻“高危原件”(细粒度块选择):顺着提要给出的线索分数,精准抽出最可疑的几页原文逐字精读,不错过任何微小物证;
- 第三只眼盯“手边这页”(局部滑动窗口):牢牢盯紧眼前刚读过的几百字,保证当前段落的指代和语法严丝合缝。
最后由一个可学习的门控开关,动态决定当前落笔更该信提要、信原件还是信手边。
03 把关键公式读成人话
先看 YaRN 如何把高、低频旋转角度“分而治之”:
把公式读成直觉:-
表示这根指针在原始 4K 长度里已经转过多少整圈,斜坡权重 就像调音台上的平滑推子。 - 对转得飞快的秒针(
很大, ),公式直接取 原速不变,近邻语法一丁点不糊;对转得极慢的时针( 很小, ),公式取 放慢 倍,保证 32K 也不会走出训练见过的角度扇区;中间频段则线性过渡。
再看 NSA 三分支并行稀疏注意力的融合公式:
把公式读成直觉:- cmp(章节提要压缩版 KV)、slc(挑出的 Top-win(紧挨着的局部窗口 KV)。
是三个由当前词元动态算出的门控旋钮。如果此刻只需补全一个成语,模型把 win旋钮拧大;如果需要把 50 万字之前埋下的变量定义捞出来,它就把slc旋钮拧满。- 因为三条支路看到的 KV 数量都远小于总长度
,且同组注意力头共享选块索引,计算量和 GPU 显存读写一起暴降。
04 它在模型里怎么工作 & 与上下游的关系
长上下文从来不是某一个模块单打独斗,而是一场贯穿整条模型链路的协同作战:
- 上游地基:频率缩放直接建在 RoPE 位置编码 之上;训练百万词元序列时,单张 GPU 根本装不下激活值,必须靠 序列并行(Ring Attention) 把长文本切成环状接力,并搭配 FlashAttention 消除中间矩阵显存。
- 架构协同:从源头减小单词元缓存体积的 GQA 与 MLA 是长窗口的最佳拍档;MoBA 的块路由更是直接借用了 MoE 混合专家 的门控思想;若希望缓存体积彻底恒定不随长度增长,业界也在探索 SSM / Mamba 状态空间模型与 Transformer 的混合架构。
- 下游赋能:稳健、低成本的长窗口是 RAG 检索增强生成 能够一次性吞入多篇长文档的前提,更是 LLM Agent 智能体 保存数十轮代码调试日志与复杂 长思维链(Long-CoT) 轨迹的生命线。
05 演化对比与避坑备忘
| 技术路线 | 像哪种阅读方式 | 远距精确找细节 | 训练-推理一致性 | 适用场景 |
|---|---|---|---|---|
| Full Attn + YaRN (arXiv ↗) | 逐字精读全书 | 极强(全局无损) | 完全一致 | 精度天花板,但超长输入算力显存最贵 |
| StreamingLLM (arXiv ↗) | 只看序言 + 最近两页 | 极弱(中段丢弃) | 存在失配 | 无限轮流式闲聊,不适合长文档问答 |
| H2O / SnapKV (arXiv ↗) | 推理时顺手撕掉废页 | 中等(依赖头分布) | 存在失配 | 零重训即插即用省显存 |
| NSA / MoBA (arXiv ↗) | 先看目录再精准翻页 | 极强(端到端学成) | 完全一致 | 新一代超长上下文原生高效底座 |
三个最容易踩的实战坑:
- 别被“大海捞针(NIAH)”满分骗了:在一堆无关文本里藏一句“密码是 42”太容易过拟合了。真正考验有效上下文长度的,是 RULER(arXiv:2404.06654 ↗)里的多针关联、变量追踪和跨段聚合——很多标称 128K 的模型,在真实多跳任务里有效窗口可能不到 32K。
- 当心“中间迷失(Lost in the Middle)”:模型天生偏爱开头和结尾,塞在长文正中央的关键约束最容易被忽略。拼装超长 Prompt 时,务必把核心指令和输出格式要求放在最末尾。
- 自研 KV 驱逐千万别删掉开头几个词元:任何把历史前 2–4 个 Attention Sink 词元踢出缓存的裁剪策略,都会让 Softmax 概率失去“泄洪口”,模型很快就会陷入复读或吐出乱码;同时 100K 以上长度计算 RoPE 三角函数务必保持 FP32 精度。
想查看 YaRN 斜坡函数完整参数、NSA 硬件块对齐细节与可直接运行的
build_yarn_inv_freq/snapkv_compress_kvPyTorch 代码?按快捷键M或点击顶部技术 Wiki随时切换。
现代大语言模型(LLM)的上下文窗口已从早期的 2K–4K token 迅速扩展至 128K、1M 甚至 10M token,能够直接吞吐整本著作、百万行代码仓库或多小时视频的 token 流。要让 Transformer 在超长序列上兼具长度泛化能力(Length Generalization) 与计算显存可行性,必须贯穿训练与推理全链路,协同解决位置编码外推、二次计算复杂度
直观理解
阅读一本百万字长篇小说时,人脑绝不会逐字将当前句子与前文一百万字两两比对,而是:第一,保留开篇确立的全局背景(Attention Sink);第二,重点关注刚读过的最近几页(局部滑动窗口);第三,按章节摘要快速翻找与当前情节高度相关的关键段落(全局稀疏检索与压缩)。长上下文建模的所有核心技术,本质上都在教 Transformer 学会这种高效阅读策略。
问题动机与演进背景
标准 自注意力(Self-Attention) 在序列长度
- 分布外位置崩溃(Out-of-Distribution Position Collapse):在长度
上预训练的模型,一旦推理长度 ,旋转位置编码(RoPE) 中未见过的相对旋转角度会破坏 Query-Key 内积分布,导致困惑度(PPL)急剧飙升。 - 预填充计算二次爆炸:Prefill 阶段完整计算注意力矩阵需要
浮点运算量;即便 FlashAttention 将显存降至 并可借助 序列并行(Ring Attention) 跨卡分摊,1M 序列的算力开销仍难以承受。 - 解码显存带宽瓶颈:Decode 阶段每生成一个 token 都需要将历史全部 KV Cache 从 HBM 搬运至 SRAM。对于 70B 参数、采用 GQA 的模型,1M 上下文的 FP16 KV Cache 仍高达数百 GB,严重限制并发批大小与生成延迟(若要彻底摆脱线性增长缓存,也可探索 状态空间模型 SSM / Mamba 等替代架构)。
因此,长上下文技术演进形成了四条互补主线:位置外推与长文本继续预训练、推理期 KV Cache 驱逐压缩、原生可训练稀疏注意力(Native Sparse Attention),以及面向真实检索推理能力的长窗口评测体系。
核心原理与数学推导
1. 位置外推:RoPE ABF 与 YaRN
在 RoPE 中,第
- ABF(Adjusted Base Frequency / NTK-aware Scaling):直接将基频
放大为 (如 Llama 3 将 从 调至 )。高频分量(小 )波长远小于 ,保持精细的局部相对位置分辨力;低频分量(大 )被更强烈地拉伸,避免超出完整周期。 - YaRN(Yet another RoPE extensioN):通过按波长分频段插值(NTK-by-parts) 与注意力温度缩放进一步提升外推质量。定义第
维在原始上下文内经历的旋转圈数 ,构造平滑斜坡函数 :
其中经验阈值通常取
同时,为弥补长序列下 Softmax 熵增引起的注意力分散,YaRN 对注意力 Logits 引入温度补偿系数
在完成频率调整后,工业界通常采用渐进式继续预训练(Continual Pretraining)(如 4K
2. 注意力汇(Attention Sink)与 StreamingLLM
Xiao 等人(2023)发现,即便初始几个 token(如 `<bos>` 或首句标点)语义信息极弱,各层注意力头仍会稳定地向它们分配极高的注意力权重。其数学根源在于 Softmax 的归一化约束
一旦滑动窗口(Sliding Window)将初始
3. KV Cache 驱逐压缩:H2O 与 SnapKV
StreamingLLM 丢弃了中段历史信息,无法应对“大海捞针”式远距检索。训练免调优的 KV Cache 压缩方法转而利用注意力权重的高度稀疏性(Power-Law 分布):极少数被称为重击手(Heavy Hitters) 的 token 贡献了超过 90% 的累计注意力分数。
- H2O(Heavy-Hitter Oracle):在解码步
维护每个历史 token 的累计注意力得分 ,动态保留“最近窗口 + Top- 重击手”,总缓存预算固定为 。 - SnapKV:观察到注意力模式在 Prefill 阶段即具一致性——紧邻输出位置的观测窗口(Observation Window,如 Prompt 末尾 16–64 个 token)对前文的注意力分布,与后续 Decode 阶段高度重合。因此 SnapKV 对观测窗口的注意力权重施加一维池化(Max/Avg Pooling)以保留连续语义片段,在 Prefill 结束时一次性剪枝压缩 KV Cache:
4. 原生可训练稀疏注意力:DeepSeek NSA 与 MoBA
推理期临时驱逐 KV 存在训练-推理失配,且无法加速长序列训练。原生可训练稀疏注意力(Native Trainable Sparse Attention) 将稀疏结构直接融入预训练与硬件分块内核:
- NSA(Native Sparse Attention,DeepSeek):将历史 KV 映射为三条互补并行分支——粗粒度块压缩(Compression)、细粒度块选择(Selection) 与局部滑动窗口(Sliding Window),最后通过可学习的门控标量
融合输出:
其中压缩分支用带位置编码的 MLP 将连续
- MoBA(Mixture of Block Attention,Kimi):借鉴 MoE 混合专家 路由思想,将长序列划分为固定大小
的块,用每块键向量的均值作为门控表征,每个查询 token 动态路由至 Top- 个最相关历史块与当前块:
MoBA 无需新增额外参数,可无缝从稠密注意力平滑切换为稀疏注意力继续训练,兼具高硬件利用率与长距无损检索能力。
算法架构与数据流图
下图展示了原生稀疏注意力(以 NSA 三分支并行门控为例)在长序列下的硬件友好数据流:
图表加载中...
复杂度与横向对比表
设序列长度为
| 方法 / 范式 | 训练期复杂度 | 单步 Decode 访存 | 远距精确检索 | 训练-推理一致性 | 核心权衡与适用场景 |
|---|---|---|---|---|---|
| Full Attention + YaRN | 极强(全局无损) | 完全一致 | 基准上限,但超长序列 Prefill 与 KV 显存成本极高 | ||
| StreamingLLM | 无需重训 | 极弱(丢失中段) | 存在失配 | 适合无限流式对话,不适用于长文档问答 | |
| H2O / SnapKV | 无需重训 | 中等(依赖头分布) | 存在失配 | 零成本即插即用推理加速,极端多针检索可能丢信息 | |
| DeepSeek NSA | 极强(端到端学习) | 完全一致 | 需从预训练阶段引入,兼顾极致硬件吞吐与精度 | ||
| Kimi MoBA | 强(动态块路由) | 完全一致 | 无新增参数,易于从稠密模型中期切换至稀疏训练 |
核心 PyTorch 参考实现
下面给出 YaRN 频率构造 与 SnapKV 风格的 Prefill 阶段 KV Cache 压缩 核心实现(含完整张量维度注释):
python
import math
import torch
import torch.nn.functional as F
def build_yarn_inv_freq(
dim: int,
base: float = 10000.0,
orig_max_len: int = 4096,
scale: float = 8.0,
alpha: float = 1.0,
beta: float = 32.0,
) -> tuple[torch.Tensor, float]:
"""计算 YaRN 分频段插值后的逆频率与注意力缩放因子 mscale。"""
# dim_idx: [dim // 2]
dim_idx = torch.arange(0, dim, 2, dtype=torch.float32)
inv_freq = 1.0 / (base ** (dim_idx / dim)) # theta_i
# 每个频段在原始最大长度内完成的周期数 r_i = L / lambda_i
wavelengths = 2.0 * math.pi / inv_freq
rotations = orig_max_len / wavelengths
# 平滑斜坡函数 gamma(r_i) in [0, 1]
ramp = torch.clamp((rotations - alpha) / (beta - alpha), 0.0, 1.0)
# 低频(ramp->0)按 scale 线性插值,高频(ramp->1)保持原频率
yarn_inv_freq = (1.0 - ramp) * (inv_freq / scale) + ramp * inv_freq
# 温度补偿因子 sqrt(1/t),可直接乘在 Q 和 K 上
mscale = 0.1 * math.log(scale) + 1.0
return yarn_inv_freq, mscale
def snapkv_compress_kv(
q: torch.Tensor,
k: torch.Tensor,
v: torch.Tensor,
obs_window: int = 32,
budget: int = 512,
kernel_size: int = 7,
) -> tuple[torch.Tensor, torch.Tensor]:
"""
SnapKV 风格 KV Cache 压缩(单头/多头批量实现)。
Args:
q: [B, H, L, D] Prefill 阶段完整 Query
k: [B, H, L, D] Prefill 阶段完整 Key
v: [B, H, L, D] Prefill 阶段完整 Value
obs_window: 末尾观测窗口大小
budget: 压缩后的总 KV 容量(含 obs_window)
kernel_size: 1D 池化核大小,用于聚类连续语义片段
Returns:
k_comp, v_comp: [B, H, budget, D]
"""
B, H, L, D = k.shape
if L <= budget:
return k, v
prefix_len = L - obs_window
keep_k = budget - obs_window
# 仅使用末尾观测窗口的 Query 计算对前缀历史 Key 的注意力分布
q_obs = q[:, :, -obs_window:, :] # [B, H, obs_window, D]
k_pre = k[:, :, :prefix_len, :] # [B, H, prefix_len, D]
attn_logits = torch.matmul(q_obs, k_pre.transpose(-2, -1)) / math.sqrt(D)
attn_weights = F.softmax(attn_logits, dim=-1) # [B, H, obs_window, prefix_len]
# 对观测窗口求均值并通过 1D 平均池化保留上下文局部完整性
importance = attn_weights.mean(dim=-2) # [B, H, prefix_len]
importance_pooled = F.avg_pool1d(
importance.reshape(B * H, 1, prefix_len),
kernel_size=kernel_size,
stride=1,
padding=kernel_size // 2,
).reshape(B, H, prefix_len)
# 选出 Top-k 重要历史位置并按原始时间顺序重排(保持因果语义连贯)
_, topk_idx = torch.topk(importance_pooled, k=keep_k, dim=-1) # [B, H, keep_k]
topk_idx, _ = torch.sort(topk_idx, dim=-1)
gather_idx = topk_idx.unsqueeze(-1).expand(-1, -1, -1, D) # [B, H, keep_k, D]
k_selected = torch.gather(k_pre, dim=2, index=gather_idx)
v_selected = torch.gather(v[:, :, :prefix_len, :], dim=2, index=gather_idx)
# 拼接筛选后的前缀与完整末尾观测窗口
k_comp = torch.cat([k_selected, k[:, :, -obs_window:, :]], dim=2)
v_comp = torch.cat([v_selected, v[:, :, -obs_window:, :]], dim=2)
return k_comp, v_comp
if __name__ == "__main__":
inv_freq, mscale = build_yarn_inv_freq(dim=128, orig_max_len=4096, scale=16.0)
print(f"YaRN inv_freq shape: {inv_freq.shape}, mscale: {mscale:.4f}")
q = torch.randn(1, 8, 2048, 64)
k = torch.randn(1, 8, 2048, 64)
v = torch.randn(1, 8, 2048, 64)
kc, vc = snapkv_compress_kv(q, k, v, obs_window=32, budget=256)
print(f"Compressed KV shape: {kc.shape}, {vc.shape}")工程实践与常见陷阱
工程实践
- 分阶段渐进扩窗与数据配比:将上下文从 8K 扩展到 128K 时,直接一步跳变往往导致梯度震荡。最佳实践是按 8K
32K 128K 逐级拉升,并在长文本样本中采用 Intra-document Causal Mask(防止拼接的不同文档间发生跨文档虚假注意力泄露),同时保留 20%–40% 的高质量短文本指令与代码数据。 - 使用 RULER 替代单一 NIAH 评测:传统“大海捞针(Needle-in-a-Haystack, NIAH)”仅测试单句精确拷贝,现代模型极易过拟合拿满分却在真实推理中失效。评测有效上下文长度(Effective Context Length) 应采用 RULER、LongBench v2 或 InfiniteBench,覆盖多针检索(Multi-Needle)、变量追踪(Variable Tracking)、多跳聚合(Aggregation)等复合任务。
- 稀疏注意力与 GQA 组对齐:在 GPU Tensor Core 上,若 GQA 中共享同一份 KV 的多个 Query Head 各自选择不同的稀疏块,会导致随机显存读放大。设计 NSA/MoBA 内核时必须强制同一 KV Group 内的 Query 共享选块索引,才能真正兑现理论加速比。
常见陷阱
- 中间迷失(Lost in the Middle):即使标称支持 128K 上下文,模型对位于上下文最前端与最末端的事实召回率通常显著高于中段(U 型性能曲线)。在构建长文档 Prompt 时,应将核心指令与高优先级约束置于最末尾,避免淹没在长文本中段。
- RoPE 精度截断与 Float32 要求:当序列长度达到 100K 以上时,高频维度的旋转角度
极大。若在 BF16 下计算 和 ,有效尾数不足会导致位置碰撞与严重掉点,务必在 FP32 精度下计算位置编码三角函数后再转换回 BF16。 - 遗漏 Attention Sink 导致 KV 驱逐崩盘:在实现自定义 KV 驱逐策略(如仅按最近 LRU 或纯局部窗口驱逐)时,如果不强制锁定前 2–4 个初始 token,模型在超过窗口长度后会出现困惑度骤增与重复复读现象。
延伸阅读与参考论文
- Peng, B., Quesnelle, J., Fan, H., & Shippole, E. (2023). YaRN: Efficient Context Window Extension of Large Language Models. ICLR 2024. arXiv:2309.00071 ↗
- Xiao, G., Tian, Y., Chen, B., Han, S., & Lewis, M. (2023). Efficient Streaming Language Models with Attention Sinks. ICLR 2024. arXiv:2309.17453 ↗
- Zhang, Z., Sheng, Y., Zhou, T., et al. (2023). H2O: Heavy-Hitter Oracle for Efficient Generative Inference of Large Language Models. NeurIPS 2023. arXiv:2306.14048 ↗
- Li, Y., Huang, Y., Yang, B., et al. (2024). SnapKV: LLM Knows What You are Looking for Before Generation. NeurIPS 2024. arXiv:2404.14469 ↗
- Yuan, J., Gao, H., Dai, D., et al. (2025). Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention. DeepSeek-AI. arXiv:2502.11089 ↗
- Lu, E., Jiang, Z., Liu, J., et al. (2025). MoBA: Mixture of Block Attention for Long-Context LLMs. Moonshot AI. arXiv:2502.13189 ↗
- Hsieh, C.-P., Sun, S., Kriman, S., et al. (2024). RULER: What's the Real Context Size of Your Long-Context Language Models? COLM 2024. arXiv:2404.06654 ↗