Skip to content

长上下文建模与稀疏注意力 (Long-Context Modeling)

从位置编码外推、原生稀疏注意力到 KV Cache 压缩与评测,全面剖析百万级上下文大模型的算法体系。

当前:讲解模式 — 侧重直觉建立、生活类比与分步拆解快捷键 M 切换
概念定义 · 什么是长上下文建模与稀疏注意力?

让大模型一口气读完一整本小说、整个代码仓库或上百份财报(128K 到 1M+ Token),面临三大拦路虎:位置编码越界崩塌、注意力 O(N2) 算力爆炸、以及“中间信息遗忘(Lost in the Middle)”。

长上下文全链路技术 把位置外推(YaRN/ABF)、持续长文本训练、原生稀疏注意力(如 DeepSeek NSA / MoBA,只精算最相关的局部与远端块) 和大海捞针(NIAH/RULER)评测串在一起,让模型既装得下、算得动,又真正找得到。

01 为什么要发明它:百万字上下文的“三重死结” ​

早期的大语言模型像金鱼一样健忘:输入超过 2048 或 4096 个词元,后面的话就彻底读不进去了。可现实世界里,工程师想把整个代码仓库扔给模型排查 Bug,律师想让模型一口气审完三百页并购合同,研究员想一次读完几十篇论文做跨文献综述。

把窗口直接拉长到 128K 甚至 1M 听起来只是改个配置文件数字,但 自注意力机制 立刻会在三个地方同时卡死:

  • 位置越界崩盘:在 4K 长度上练熟的 RoPE 旋转位置编码,突然碰到第 50,000 号位置,慢速旋转的低频角度从未在训练时出现过,注意力打分瞬间错乱,输出直接变成胡言乱语。
  • 算力平方爆炸:两两词元全连接意味着序列长度翻 10 倍,计算量翻 100 倍。哪怕有 FlashAttention 省掉了中间注意力矩阵显存,1M 文本的预填充(Prefill)算力依然贵得惊人。
  • 记忆缓存撑爆显存:每生成一个新字,GPU 都要把历史上全部 KV Cache 重新从显存搬进计算核心。对于一个 70B 参数的模型,1M 长度光是一条请求的缓存就要吃掉上百 GB 显存,带宽彻底卡成瓶颈。
类比 · 把一整座图书馆铺满书桌

标准全量自注意力就像一位极度认真的学者:每写一个新句子,都要把桌上铺开的每一页、每一个字全部重新扫一遍,逐字确认有没有关联。

桌子只有 4 页纸时游刃有余;可一旦桌上堆满 100 万字,光是低头翻找一遍就要花掉半天,书桌本身也早被压塌了。

核心设问

能不能既让模型看得懂 100 万字里的每一处关键伏笔,又不必每次落笔都把前文百万字逐字重读一遍?换句话说:如何让位置编码平稳拉伸,同时教注意力学会“挑重点看”?

02 核心直觉:像人类一样读长书的三板斧 ​

仔细想想,人脑读一本百万字长篇小说时是怎么做的?你绝不会在读到第 800 页时,把当前这句话和前面 799 页里的每一个逗号两两比对。你的阅读策略天然包含三层机制,而长上下文算法几乎一比一复刻了这套直觉:

第一板斧:分区调松表盘,别让刻度爆表(ABF / YaRN) ​

把 RoPE 想象成一块由几十根快慢指针组成的精密手表。把窗口从 4K 拉到 128K 时,如果把所有指针硬生生放慢 32 倍,低频时针安全了,但高频秒针也跟着变钝,相邻两个词的语序立刻糊成一团。

YaRN(arXiv:2309.00071 ↗)的做法像老练制表师分区调校:秒针(高频局部语序)原封不动,时针(低频远距刻度)按比例放慢,分针平滑过渡,再顺手调低一点 Softmax 温度,防止词元变多后注意力被摊得太散。随后再喂几十亿词元的长代码和整本书做渐进式继续预训练(4K → 32K → 128K → 1M),长窗口就彻底激活了。

第二板斧:留住开篇“定海神针”,丢掉路人废话(Attention Sink & KV 驱逐) ​

StreamingLLM(arXiv:2309.17453 ↗)发现了一个极反直觉的现象:即使文章最开头几个词元(如 <bos> 或开场白)毫无语义信息,各层注意力头也会把海量权重倒在它们身上。原因藏在 Softmax 必须相加等于 1 的铁律里——当当前词在前面找不到强相关对象时,多余的概率质量必须找一个永远在场的“泄洪口”倾倒。

只要死死锁住开头 4 个注意力汇(Attention Sink) 再配一个滑动窗口,模型就能用恒定显存永不崩溃地无限输出。而 H2O(arXiv:2306.14048 ↗)和 SnapKV(arXiv:2404.14469 ↗)则发现 90% 的注意力只集中在极少数“重击手”词元身上,于是专门留下这些高频核心词,把路人甲词元清出缓存。

第三板斧:从训练第一天就学“先看目录再翻页”(原生稀疏注意力) ​

推理时临时扔掉 KV 终究是亡羊补牢——训练时模型习惯了看全貌,考试时突然遮住它 80% 的笔记,难题难免掉点。DeepSeek 的 NSA(arXiv:2502.11089 ↗)与 Kimi 的 MoBA(arXiv:2502.13189 ↗)干脆把稀疏结构直接写进预训练和硬件分块内核里,让模型天生掌握“跳读 + 精读”的高效本领。

类比 · 侦探读百万字卷宗的三重视野

可以把 DeepSeek NSA 想象成一位老练侦探翻阅百本卷宗时的三只眼睛:

  • 第一只眼看“章节提要”(粗粒度块压缩):把每几十页压缩成一条提要,一秒扫描全案脉络,知道哪几本卷宗最可疑;
  • 第二只眼翻“高危原件”(细粒度块选择):顺着提要给出的线索分数,精准抽出最可疑的几页原文逐字精读,不错过任何微小物证;
  • 第三只眼盯“手边这页”(局部滑动窗口):牢牢盯紧眼前刚读过的几百字,保证当前段落的指代和语法严丝合缝。

最后由一个可学习的门控开关,动态决定当前落笔更该信提要、信原件还是信手边。

03 把关键公式读成人话 ​

先看 YaRN 如何把高、低频旋转角度“分而治之”:

θiYaRN=(1−γ(ri))θis+γ(ri)θi

把公式读成直觉:- θi 是第 i 组维度的原始旋转速度,s 是窗口拉长的倍数(比如从 4K 扩到 32K 就是 s=8)。

  • ri 表示这根指针在原始 4K 长度里已经转过多少整圈,斜坡权重 γ(ri)∈[0,1] 就像调音台上的平滑推子。
  • 对转得飞快的秒针(ri 很大,γ=1),公式直接取 θi 原速不变,近邻语法一丁点不糊;对转得极慢的时针(ri 很小,γ=0),公式取 θi/s 放慢 s 倍,保证 32K 也不会走出训练见过的角度扇区;中间频段则线性过渡。

再看 NSA 三分支并行稀疏注意力的融合公式:

ot∗=∑c∈{cmp,slc,win}gtc⋅Attn(qt,K~tc,V~tc)

把公式读成直觉:- qt 是模型此刻正在思考的“检索问题”,下标 c 代表三条并行支路:cmp(章节提要压缩版 KV)、slc(挑出的 Top-n 重点原文块 KV)、win(紧挨着的局部窗口 KV)。

  • gtc∈(0,1) 是三个由当前词元动态算出的门控旋钮。如果此刻只需补全一个成语,模型把 win 旋钮拧大;如果需要把 50 万字之前埋下的变量定义捞出来,它就把 slc 旋钮拧满。
  • 因为三条支路看到的 KV 数量都远小于总长度 L,且同组注意力头共享选块索引,计算量和 GPU 显存读写一起暴降。

04 它在模型里怎么工作 & 与上下游的关系 ​

长上下文从来不是某一个模块单打独斗,而是一场贯穿整条模型链路的协同作战:

05 演化对比与避坑备忘 ​

技术路线像哪种阅读方式远距精确找细节训练-推理一致性适用场景
Full Attn + YaRN (arXiv ↗)逐字精读全书极强(全局无损)完全一致精度天花板,但超长输入算力显存最贵
StreamingLLM (arXiv ↗)只看序言 + 最近两页极弱(中段丢弃)存在失配无限轮流式闲聊,不适合长文档问答
H2O / SnapKV (arXiv ↗)推理时顺手撕掉废页中等(依赖头分布)存在失配零重训即插即用省显存
NSA / MoBA (arXiv ↗)先看目录再精准翻页极强(端到端学成)完全一致新一代超长上下文原生高效底座

三个最容易踩的实战坑:

  1. 别被“大海捞针(NIAH)”满分骗了:在一堆无关文本里藏一句“密码是 42”太容易过拟合了。真正考验有效上下文长度的,是 RULER(arXiv:2404.06654 ↗)里的多针关联、变量追踪和跨段聚合——很多标称 128K 的模型,在真实多跳任务里有效窗口可能不到 32K。
  2. 当心“中间迷失(Lost in the Middle)”:模型天生偏爱开头和结尾,塞在长文正中央的关键约束最容易被忽略。拼装超长 Prompt 时,务必把核心指令和输出格式要求放在最末尾。
  3. 自研 KV 驱逐千万别删掉开头几个词元:任何把历史前 2–4 个 Attention Sink 词元踢出缓存的裁剪策略,都会让 Softmax 概率失去“泄洪口”,模型很快就会陷入复读或吐出乱码;同时 100K 以上长度计算 RoPE 三角函数务必保持 FP32 精度。

想查看 YaRN 斜坡函数完整参数、NSA 硬件块对齐细节与可直接运行的 build_yarn_inv_freq / snapkv_compress_kv PyTorch 代码?按快捷键 M 或点击顶部 技术 Wiki 随时切换。

现代大语言模型(LLM)的上下文窗口已从早期的 2K–4K token 迅速扩展至 128K、1M 甚至 10M token,能够直接吞吐整本著作、百万行代码仓库或多小时视频的 token 流。要让 Transformer 在超长序列上兼具长度泛化能力(Length Generalization) 与计算显存可行性,必须贯穿训练与推理全链路,协同解决位置编码外推、二次计算复杂度 O(L2) 以及线性膨胀的 KV Cache 显存瓶颈。

直观理解

阅读一本百万字长篇小说时,人脑绝不会逐字将当前句子与前文一百万字两两比对,而是:第一,保留开篇确立的全局背景(Attention Sink);第二,重点关注刚读过的最近几页(局部滑动窗口);第三,按章节摘要快速翻找与当前情节高度相关的关键段落(全局稀疏检索与压缩)。长上下文建模的所有核心技术,本质上都在教 Transformer 学会这种高效阅读策略。

问题动机与演进背景 ​

标准 自注意力(Self-Attention) 在序列长度 L 增长时面临三重硬约束:

  1. 分布外位置崩溃(Out-of-Distribution Position Collapse):在长度 Ltrain 上预训练的模型,一旦推理长度 L>Ltrain,旋转位置编码(RoPE) 中未见过的相对旋转角度会破坏 Query-Key 内积分布,导致困惑度(PPL)急剧飙升。
  2. 预填充计算二次爆炸:Prefill 阶段完整计算注意力矩阵需要 O(L2d) 浮点运算量;即便 FlashAttention 将显存降至 O(L) 并可借助 序列并行(Ring Attention) 跨卡分摊,1M 序列的算力开销仍难以承受。
  3. 解码显存带宽瓶颈:Decode 阶段每生成一个 token 都需要将历史全部 KV Cache 从 HBM 搬运至 SRAM。对于 70B 参数、采用 GQA 的模型,1M 上下文的 FP16 KV Cache 仍高达数百 GB,严重限制并发批大小与生成延迟(若要彻底摆脱线性增长缓存,也可探索 状态空间模型 SSM / Mamba 等替代架构)。

因此,长上下文技术演进形成了四条互补主线:位置外推与长文本继续预训练、推理期 KV Cache 驱逐压缩、原生可训练稀疏注意力(Native Sparse Attention),以及面向真实检索推理能力的长窗口评测体系。

核心原理与数学推导 ​

1. 位置外推:RoPE ABF 与 YaRN ​

在 RoPE 中,第 i 组二维子空间(i∈{0,1,…,d/2−1})的旋转角频率为 θi=b−2i/d,对应波长为 λi=2πθi=2πb2i/d。当上下文长度由 L 扩展至 L′=s⋅L(扩展倍率 s>1)时:

  • ABF(Adjusted Base Frequency / NTK-aware Scaling):直接将基频 b 放大为 b′=b⋅sdd−2(如 Llama 3 将 b 从 104 调至 5×105)。高频分量(小 i)波长远小于 L,保持精细的局部相对位置分辨力;低频分量(大 i)被更强烈地拉伸,避免超出完整周期。
  • YaRN(Yet another RoPE extensioN):通过按波长分频段插值(NTK-by-parts) 与注意力温度缩放进一步提升外推质量。定义第 i 维在原始上下文内经历的旋转圈数 ri=L/λi,构造平滑斜坡函数 γ(ri)∈[0,1]:
γ(ri)={0,ri<αri−αβ−α,α≤ri≤β1,ri>β

其中经验阈值通常取 α=1,β=32。混合后的新角频率为:

θiYaRN=(1−γ(ri))θis+γ(ri)θi

同时,为弥补长序列下 Softmax 熵增引起的注意力分散,YaRN 对注意力 Logits 引入温度补偿系数 1t,令 1/t=0.1ln⁡(s)+1(可直接等价地同时缩放 Q 和 K):

AttentionYaRN(Q,K,V)=Softmax(QK⊤tdk)V

在完成频率调整后,工业界通常采用渐进式继续预训练(Continual Pretraining)(如 4K → 32K → 128K → 1M),在数据配比中上采样代码仓库、学术论文与拼接书籍(保持原有短文本分布防止能力遗忘),仅需数十亿至数百亿 token 即可激活超长上下文能力。

2. 注意力汇(Attention Sink)与 StreamingLLM ​

Xiao 等人(2023)发现,即便初始几个 token(如 `<bos>` 或首句标点)语义信息极弱,各层注意力头仍会稳定地向它们分配极高的注意力权重。其数学根源在于 Softmax 的归一化约束 ∑j=1tαtj=1:当当前查询 qt 在上下文中找不到强相关语义时,模型必须将多余的概率质量“倾倒”到始终可见的锚点位置,从而避免污染其他有效 token 的值加权和。

一旦滑动窗口(Sliding Window)将初始 S 个 token 移出缓存,Softmax 归一化结构崩溃,模型立刻输出乱码。StreamingLLM 通过保留初始 S 个 Attention Sink token(通常 S=4)加上最近 W 个滑动窗口 token,并在缓存内重新分配连续的相对位置索引(0,1,…,S+W−1),实现了恒定显存 O(S+W) 下的无限流式生成:

Istream(t)={0,1,…,S−1}∪{t−W+1,…,t}

3. KV Cache 驱逐压缩:H2O 与 SnapKV ​

StreamingLLM 丢弃了中段历史信息,无法应对“大海捞针”式远距检索。训练免调优的 KV Cache 压缩方法转而利用注意力权重的高度稀疏性(Power-Law 分布):极少数被称为重击手(Heavy Hitters) 的 token 贡献了超过 90% 的累计注意力分数。

  • H2O(Heavy-Hitter Oracle):在解码步 t 维护每个历史 token j 的累计注意力得分 Aj=∑τ≤tατj,动态保留“最近窗口 + Top-k 重击手”,总缓存预算固定为 B=Wrecent+k。
  • SnapKV:观察到注意力模式在 Prefill 阶段即具一致性——紧邻输出位置的观测窗口(Observation Window,如 Prompt 末尾 16–64 个 token)对前文的注意力分布,与后续 Decode 阶段高度重合。因此 SnapKV 对观测窗口的注意力权重施加一维池化(Max/Avg Pooling)以保留连续语义片段,在 Prefill 结束时一次性剪枝压缩 KV Cache:
sj=Pool1D(1|Wobs|∑i∈Wobsαij),Ikeep=TopK(s,k)∪Wobs

4. 原生可训练稀疏注意力:DeepSeek NSA 与 MoBA ​

推理期临时驱逐 KV 存在训练-推理失配,且无法加速长序列训练。原生可训练稀疏注意力(Native Trainable Sparse Attention) 将稀疏结构直接融入预训练与硬件分块内核:

  • NSA(Native Sparse Attention,DeepSeek):将历史 KV 映射为三条互补并行分支——粗粒度块压缩(Compression)、细粒度块选择(Selection) 与局部滑动窗口(Sliding Window),最后通过可学习的门控标量 gtc∈(0,1) 融合输出:
ot∗=∑c∈{cmp,slc,win}gtc⋅Attn(qt,K~tc,V~tc)

其中压缩分支用带位置编码的 MLP 将连续 l 个 token 压为单个代表向量;选择分支复用压缩分支的注意力分数高效选出 Top-n 个原始细粒度块,并在 GQA 头组内共享块索引以最大化 Tensor Core 访存效率。

  • MoBA(Mixture of Block Attention,Kimi):借鉴 MoE 混合专家 路由思想,将长序列划分为固定大小 B 的块,用每块键向量的均值作为门控表征,每个查询 token 动态路由至 Top-k 个最相关历史块与当前块:
St=TopK({qt⊤k¯m|m<⌊t/B⌋},k)∪{⌊t/B⌋}

MoBA 无需新增额外参数,可无缝从稠密注意力平滑切换为稀疏注意力继续训练,兼具高硬件利用率与长距无损检索能力。

算法架构与数据流图 ​

下图展示了原生稀疏注意力(以 NSA 三分支并行门控为例)在长序列下的硬件友好数据流:

图表加载中...

复杂度与横向对比表 ​

设序列长度为 L,滑动窗口大小为 W,稀疏选择块/重击手总预算为 K(通常 W,K≪L),隐藏维度为 d:

方法 / 范式训练期复杂度单步 Decode 访存远距精确检索训练-推理一致性核心权衡与适用场景
Full Attention + YaRNO(L2d)O(Ld)极强(全局无损)完全一致基准上限,但超长序列 Prefill 与 KV 显存成本极高
StreamingLLM无需重训O((S+W)d)极弱(丢失中段)存在失配适合无限流式对话,不适用于长文档问答
H2O / SnapKV无需重训O((W+K)d)中等(依赖头分布)存在失配零成本即插即用推理加速,极端多针检索可能丢信息
DeepSeek NSAO(L(W+K+L/l)d)O((W+K+L/l)d)极强(端到端学习)完全一致需从预训练阶段引入,兼顾极致硬件吞吐与精度
Kimi MoBAO(L(B+kB)d)O((B+kB)d)强(动态块路由)完全一致无新增参数,易于从稠密模型中期切换至稀疏训练

核心 PyTorch 参考实现 ​

下面给出 YaRN 频率构造 与 SnapKV 风格的 Prefill 阶段 KV Cache 压缩 核心实现(含完整张量维度注释):

python
import math
import torch
import torch.nn.functional as F


def build_yarn_inv_freq(
    dim: int,
    base: float = 10000.0,
    orig_max_len: int = 4096,
    scale: float = 8.0,
    alpha: float = 1.0,
    beta: float = 32.0,
) -> tuple[torch.Tensor, float]:
    """计算 YaRN 分频段插值后的逆频率与注意力缩放因子 mscale。"""
    # dim_idx: [dim // 2]
    dim_idx = torch.arange(0, dim, 2, dtype=torch.float32)
    inv_freq = 1.0 / (base ** (dim_idx / dim))  # theta_i

    # 每个频段在原始最大长度内完成的周期数 r_i = L / lambda_i
    wavelengths = 2.0 * math.pi / inv_freq
    rotations = orig_max_len / wavelengths

    # 平滑斜坡函数 gamma(r_i) in [0, 1]
    ramp = torch.clamp((rotations - alpha) / (beta - alpha), 0.0, 1.0)
    # 低频(ramp->0)按 scale 线性插值,高频(ramp->1)保持原频率
    yarn_inv_freq = (1.0 - ramp) * (inv_freq / scale) + ramp * inv_freq

    # 温度补偿因子 sqrt(1/t),可直接乘在 Q 和 K 上
    mscale = 0.1 * math.log(scale) + 1.0
    return yarn_inv_freq, mscale


def snapkv_compress_kv(
    q: torch.Tensor,
    k: torch.Tensor,
    v: torch.Tensor,
    obs_window: int = 32,
    budget: int = 512,
    kernel_size: int = 7,
) -> tuple[torch.Tensor, torch.Tensor]:
    """
    SnapKV 风格 KV Cache 压缩(单头/多头批量实现)。
    Args:
        q: [B, H, L, D]  Prefill 阶段完整 Query
        k: [B, H, L, D]  Prefill 阶段完整 Key
        v: [B, H, L, D]  Prefill 阶段完整 Value
        obs_window:      末尾观测窗口大小
        budget:          压缩后的总 KV 容量(含 obs_window)
        kernel_size:     1D 池化核大小,用于聚类连续语义片段
    Returns:
        k_comp, v_comp: [B, H, budget, D]
    """
    B, H, L, D = k.shape
    if L <= budget:
        return k, v

    prefix_len = L - obs_window
    keep_k = budget - obs_window

    # 仅使用末尾观测窗口的 Query 计算对前缀历史 Key 的注意力分布
    q_obs = q[:, :, -obs_window:, :]  # [B, H, obs_window, D]
    k_pre = k[:, :, :prefix_len, :]   # [B, H, prefix_len, D]

    attn_logits = torch.matmul(q_obs, k_pre.transpose(-2, -1)) / math.sqrt(D)
    attn_weights = F.softmax(attn_logits, dim=-1)  # [B, H, obs_window, prefix_len]

    # 对观测窗口求均值并通过 1D 平均池化保留上下文局部完整性
    importance = attn_weights.mean(dim=-2)  # [B, H, prefix_len]
    importance_pooled = F.avg_pool1d(
        importance.reshape(B * H, 1, prefix_len),
        kernel_size=kernel_size,
        stride=1,
        padding=kernel_size // 2,
    ).reshape(B, H, prefix_len)

    # 选出 Top-k 重要历史位置并按原始时间顺序重排(保持因果语义连贯)
    _, topk_idx = torch.topk(importance_pooled, k=keep_k, dim=-1)  # [B, H, keep_k]
    topk_idx, _ = torch.sort(topk_idx, dim=-1)

    gather_idx = topk_idx.unsqueeze(-1).expand(-1, -1, -1, D)  # [B, H, keep_k, D]
    k_selected = torch.gather(k_pre, dim=2, index=gather_idx)
    v_selected = torch.gather(v[:, :, :prefix_len, :], dim=2, index=gather_idx)

    # 拼接筛选后的前缀与完整末尾观测窗口
    k_comp = torch.cat([k_selected, k[:, :, -obs_window:, :]], dim=2)
    v_comp = torch.cat([v_selected, v[:, :, -obs_window:, :]], dim=2)
    return k_comp, v_comp


if __name__ == "__main__":
    inv_freq, mscale = build_yarn_inv_freq(dim=128, orig_max_len=4096, scale=16.0)
    print(f"YaRN inv_freq shape: {inv_freq.shape}, mscale: {mscale:.4f}")
    q = torch.randn(1, 8, 2048, 64)
    k = torch.randn(1, 8, 2048, 64)
    v = torch.randn(1, 8, 2048, 64)
    kc, vc = snapkv_compress_kv(q, k, v, obs_window=32, budget=256)
    print(f"Compressed KV shape: {kc.shape}, {vc.shape}")

工程实践与常见陷阱 ​

工程实践

  • 分阶段渐进扩窗与数据配比:将上下文从 8K 扩展到 128K 时,直接一步跳变往往导致梯度震荡。最佳实践是按 8K → 32K → 128K 逐级拉升,并在长文本样本中采用 Intra-document Causal Mask(防止拼接的不同文档间发生跨文档虚假注意力泄露),同时保留 20%–40% 的高质量短文本指令与代码数据。
  • 使用 RULER 替代单一 NIAH 评测:传统“大海捞针(Needle-in-a-Haystack, NIAH)”仅测试单句精确拷贝,现代模型极易过拟合拿满分却在真实推理中失效。评测有效上下文长度(Effective Context Length) 应采用 RULER、LongBench v2 或 InfiniteBench,覆盖多针检索(Multi-Needle)、变量追踪(Variable Tracking)、多跳聚合(Aggregation)等复合任务。
  • 稀疏注意力与 GQA 组对齐:在 GPU Tensor Core 上,若 GQA 中共享同一份 KV 的多个 Query Head 各自选择不同的稀疏块,会导致随机显存读放大。设计 NSA/MoBA 内核时必须强制同一 KV Group 内的 Query 共享选块索引,才能真正兑现理论加速比。

常见陷阱

  • 中间迷失(Lost in the Middle):即使标称支持 128K 上下文,模型对位于上下文最前端与最末端的事实召回率通常显著高于中段(U 型性能曲线)。在构建长文档 Prompt 时,应将核心指令与高优先级约束置于最末尾,避免淹没在长文本中段。
  • RoPE 精度截断与 Float32 要求:当序列长度达到 100K 以上时,高频维度的旋转角度 mθi 极大。若在 BF16 下计算 sin⁡(mθi) 和 cos⁡(mθi),有效尾数不足会导致位置碰撞与严重掉点,务必在 FP32 精度下计算位置编码三角函数后再转换回 BF16。
  • 遗漏 Attention Sink 导致 KV 驱逐崩盘:在实现自定义 KV 驱逐策略(如仅按最近 LRU 或纯局部窗口驱逐)时,如果不强制锁定前 2–4 个初始 token,模型在超过窗口长度后会出现困惑度骤增与重复复读现象。

延伸阅读与参考论文 ​

  • Peng, B., Quesnelle, J., Fan, H., & Shippole, E. (2023). YaRN: Efficient Context Window Extension of Large Language Models. ICLR 2024. arXiv:2309.00071 ↗
  • Xiao, G., Tian, Y., Chen, B., Han, S., & Lewis, M. (2023). Efficient Streaming Language Models with Attention Sinks. ICLR 2024. arXiv:2309.17453 ↗
  • Zhang, Z., Sheng, Y., Zhou, T., et al. (2023). H2O: Heavy-Hitter Oracle for Efficient Generative Inference of Large Language Models. NeurIPS 2023. arXiv:2306.14048 ↗
  • Li, Y., Huang, Y., Yang, B., et al. (2024). SnapKV: LLM Knows What You are Looking for Before Generation. NeurIPS 2024. arXiv:2404.14469 ↗
  • Yuan, J., Gao, H., Dai, D., et al. (2025). Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention. DeepSeek-AI. arXiv:2502.11089 ↗
  • Lu, E., Jiang, Z., Liu, J., et al. (2025). MoBA: Mixture of Block Attention for Long-Context LLMs. Moonshot AI. arXiv:2502.13189 ↗
  • Hsieh, C.-P., Sun, S., Kriman, S., et al. (2024). RULER: What's the Real Context Size of Your Long-Context Language Models? COLM 2024. arXiv:2404.06654 ↗