Skip to content

线性复杂度架构:线性注意力、RWKV 与 Mamba(SSM)

解析线性注意力、RWKV、S4/HiPPO 与 Mamba-1/2 SSD 对偶及混合架构。

当前:讲解模式 — 侧重直觉建立、生活类比与分步拆解快捷键 M 切换
概念定义 · 什么是状态空间模型(SSM)与 Mamba?

标准 Transformer 的自注意力机制在读长文章时,每个新词都要回头看前面所有词,计算量随长度平方暴涨(O(N2)),显存也要存下越来越庞大的 KV Cache。

状态空间模型(SSM)与 Mamba 是试图打破 O(N2) 瓶颈的代表性后 Transformer 架构:它回归类似 RNN 的思路,把读过的历史压缩进一个固定大小的内部状态(记忆本),每来一个新词按内容动态决定“该记住什么、忘掉什么”(选择性扫描),从而实现线性复杂度 O(N) 与恒定推理显存,同时训练期又能分块并行加速。

01 问题从何而来:能不能甩掉 O(N2) 算力和无限膨胀的 KV Cache? ​

Transformer 的 Softmax 自注意力 堪称绝世神功,但它背着两座怎么也甩不掉的大山:

  • 训练与阅读时的 O(N2) 算力墙:每读一篇 10 万字长文,所有词两两互相打分,计算量随长度平方暴涨;
  • 生成时的 O(N) 显存包袱:推理每吐一个新词,都得把前面所有词的 KV Cache 死死攥在手里反复翻阅,文本越长显存越炸、吐字越慢。

其实老一代循环神经网络(RNN)原本就是“阅读 O(N) 线性算力、生成 O(1) 恒定显存”的梦想形态!可惜传统 RNN 在时间步里塞了非线性函数 tanh,导致训练必须串行排队、无法吃满 GPU 并行算力,被 Transformer 按在地上摩擦。

类比 · 开卷考试搬档案箱 vs. 闭卷大师带定长笔记本

把标准 Transformer 想象成一位带着全套档案箱参加开卷考试的考生:每读完新的一页题目,都要回头把过去所有页面的档案箱全部翻检一遍——优点是只要翻箱子就能一字不差找到第 3 页第 5 行的电话号码,缺点是题越长档案箱越沉、搬得气喘吁吁。

而 Mamba / RWKV / 线性注意力(SSM 家族) 则是闭卷脑记大师:他脑海里只有一本页数永远固定的活页笔记本(定长隐状态 ht)。每读进一个新词,就当场决定“把哪几条过时旧笔记擦掉、把这条关键新线索记进去”。哪怕读完 100 万字,他手里的笔记本依然只有巴掌大,推理解码速度从第 1 个字到第 100 万个字始终快如闪电!

核心设问

只要把 RNN 状态更新里的“非线性”拿掉,改用线性状态递推,是不是就能同时拿下“像 Transformer 一样全并行训练”和“像 RNN 一样 O(1) 恒定显存极速推理”两大神技?为什么从线性注意力、RWKV、S4 一路卷到 Mamba-2,最终还是走向了“混合架构”?

02 核心直觉:从 S4 到 Mamba-1 的“选择性擦写”,再到 Mamba-2 的大一统 ​

线性复杂度架构历经四步极具戏剧性的进化:

类比 · 第一步:去掉 Softmax(线性注意力 & RWKV)

Katharopoulos 等人(2020)↗ 发现,只要把 Softmax 里的指数函数换成核特征映射 ϕ(q)⊤ϕ(k),利用矩阵乘法结合律先把 ∑ϕ(ki)vi⊤ 累加成一张固定大小的矩阵状态 St,复杂程度瞬间从 O(N2d) 降成 O(Nd2)!

可纯加法累加没有“橡皮擦”,读几千字笔记本就写满浆糊了。于是 RWKV(Peng et al., 2023)↗ 加上了可学习的时间指数衰减权重(相当于随时间慢慢淡化旧笔记),进化到 RWKV-6/7 更拓展出多头矩阵状态和精准擦除规则。

类比 · 第二步:控制论空降与 Mamba-1 的“智能荧光笔 + 橡皮擦”

另一条路源自控制论的连续时间状态空间方程(SSM)。S4(Gu et al., 2022)↗ 用漂亮的 HiPPO 数学理论让固定大小的隐状态记住了极长历史,还能靠快速傅里叶变换(FFT)并行训练。但 S4 有个死穴——它是时不变(LTI) 的,不管遇到核心关键词还是“嗯、啊、呃”废话,都按死板固定的比例做记忆衰减和写入,根本不懂看菜下碟!

Mamba-1(Gu & Dao, 2023)↗ 一刀捅破窗户纸,提出选择性状态空间(Selective SSM):让遗忘步长 Δt 和读写门控 Bt,Ct 直接由当前词元内容 xt 实时决定!

  • 遇到关键转折词或暗号?把步长 Δt 拉大:立刻擦掉无关旧账,用荧光笔把当前信息狠狠刻进笔记本!
  • 遇到水词或停用词?把步长 Δt 缩向 0:直接冻结现有笔记,把这个词当空气原样跳过!

虽然时变参数让 FFT 失效,但作者用并行前缀扫描 + GPU 片上 SRAM 融合核,跑出了比同规模 FlashAttention-2 还快几倍的吞吐。

类比 · 第三步:Mamba-2 的“震撼大一统(SSD)”——吃满 Tensor Core!

Mamba-1 虽然快,但并行扫描本质上是向量操作,吃不满现代 H100/B200 GPU 最猛的矩阵乘法核心(Tensor Core)。

Mamba-2(Dao & Gu, 2024)↗ 证明了一个载入教科书的数学对偶——状态空间对偶(SSD):把状态转移矩阵简化成“标量衰减乘单位阵”后,SSM 居然和带因果衰减掩码的线性注意力在数学上是同一个东西!

于是 Mamba-2 干脆把长序列切成一块块长度为 Q(如 64 或 128)的短片段:块内部直接用二次方矩阵乘法狂飙 Tensor Core;块之间只传递轻量级的压缩边界状态。既保住了全局 O(N) 线性复杂度,训练吞吐又直接飙升 2×∼8×!

03 把关键公式读成人话 ​

先看 Mamba-1 的离散化选择性递推核心:

ht=A¯tht−1+B¯txt,yt=Ctht,A¯t=exp⁡(ΔtA)

**把公式读成直觉:**把 ht−1 当成上一刻手里那本定长笔记本,每次读进新词 xt 只需两步:

  1. 选择性擦除与写入(更新笔记):A¯t=exp⁡(ΔtA) 是“记忆保留率”(因为 A<0,所以它在 0 到 1 之间)。当模型觉得当前词极其重要、调大 Δt 时,A¯t→0(清空旧缓存)同时 B¯t≈ΔtBt 变大(重笔写入新词);当当前词是废话、把 Δt→0 时,A¯t→1,B¯t→0(老笔记纹丝不动,新词直接忽略)。
  2. 按需读出(yt=Ctht):用输入相关的查询向量 Ct 从当前笔记本里提取这一步要输出的语义。

再看 Mamba-2(SSD) 打通“状态空间”与“注意力”的矩阵对偶式:

y=Mx,Mij=Ci⊤(∏k=j+1iak)Bj(i≥j)

**原来 SSM 和注意力只是同一枚硬币的两面!:**把上式和带因果衰减掩码的线性注意力 (L⊙(QK⊤))V 逐字对照,你会瞬间拍案叫绝:

  • Ci 就是查询 Qi,Bj 就是键 Kj,输入 xj 就是值 Vj;
  • 中间连乘的衰减系数 Lij=∏k=j+1iak 正是随时间衰减的因果下三角掩码!

训练时用矩阵乘法形态榨干 GPU 算力,推理时切换成等价的 RNN 逐步递推形态享受 O(1) 恒定显存——鱼和熊掌第一次真正兼得。

04 它在模型里怎么工作 & 与上下游的关系 ​

尽管纯线性架构速度飞快,但信息论早就给它画了天花板:一本巴掌大的定长笔记本,怎么可能无损记住 10 万字合同里的每一个电话号码和精确变量名? 评测反复证明,纯 SSM 在超长文本的精确逐字回溯检索(Recall / Copying) 上天然弱于保留完整历史档案的 Softmax 注意力。

于是,最前沿的工业界迅速收敛向了 Hybrid 混合架构:

  • Jamba(AI21, 2024)↗:按 7 层 Mamba + 1 层全注意力 的比例交替堆叠,再融合 MoE,把 256K 上下文的 KV Cache 压到纯 Transformer 的 18;
  • Zamba / MiniMax-01(2025)↗ / Qwen3-Next:用大部分线性注意力 / Mamba / Gated DeltaNet 层扛起百万级 长上下文 的极速吞吐,每隔 3~7 层穿插 1 层全 GQA / MLA 注意力 充当“精准档案检索器”,两头甜头全部吃尽!

05 演化对比与避坑备忘 ​

序列架构训练复杂度解码状态显存精准逐字回忆Tensor Core 利用率
标准 TransformerO(N2d)O(Nd) 线性涨极强(无损查阅)极高
Linear Attn / RWKVO(Nd2)O(1) 定长弱~中高
Mamba-1 (Selective)O(NdNs)O(1) 定长中强中(向量级扫描)
Mamba-2 (SSD)O(NdNs+NQd)O(1) 定长强(大状态 Ns=128)极高(分块 GEMM)
Hybrid(SSM+Attn)近似线性缩减 4×∼8×极强(媲美全注意力)极高

三个最容易踩的工程坑:

  1. 衰减参数 A 必须严格为负,且状态累加死守 FP32:离散化里 A 的实部一旦飘到正数,长序列连乘 exp⁡(ΔA) 会立刻指数爆炸变 NaN;工程上通常存储 log⁡(−A) 并在前向取 −exp⁡(⋅),且状态更新务必留在 FP32。
  2. 多轮对话的“前缀缓存复用”比 KV Cache 麻烦得多:Transformer 的 KV Cache 可以按任意位置切片回退、复用公共系统提示词;可 SSM 只存着最后一个时刻揉成一团的压缩状态 ht,没法从 h1000 倒推出 h500!推理引擎必须每隔固定步数定期拍一张状态快照(State Checkpointing)才能支持前缀复用。
  3. 别小看 SSM 前面那个小小的“1D 短卷积”:Mamba 模块在进状态扫描前总会先过一个核宽为 4 的因果一维短卷积,它像个微型移位寄存器补齐局部 n-gram 词序感知,千万别为了图省事把它删掉,否则语言建模困惑度会明显倒退。

想查看线性注意力核技巧、HiPPO 连续离散化 ZOH 公式,以及纯 PyTorch 实现并校验“分块 SSD vs 逐步 RNN”零误差的完整代码?按快捷键 M 或点击顶部 技术 Wiki 随时切换。

标准 Transformer 的 Softmax 自注意力 虽然拥有卓越的全局检索精度,却背负着两座难以逾越的大山:训练与预填充阶段 O(N2) 的计算复杂度,以及自回归解码阶段随长度线性膨胀的 O(N) KV Cache。为了实现训练高度并行、推理 O(1) 恒定显存与 O(N) 线性复杂度,研究界开辟了线性注意力(Linear Attention)、RWKV 以及以 S4 / Mamba-1 / Mamba-2 为代表的结构化状态空间模型(Structured State Space Models, SSM) 三大“后 Transformer”序列建模路线,并在最新 长上下文 大模型中与 GQA/MLA 注意力 走向深度混合。

直观理解

可以把标准 Transformer 想象成一位带着全套厚重档案箱参加开卷考试的学生:每读完一页新材料,都要回头把过去所有页面的档案全部重新翻检一遍(O(N2) 算力 + 越来越沉的 KV 档案箱)。而 Mamba / RWKV / SSM 则是闭卷脑记大师:脑海里只有一个大小恒定的笔记本(定长隐状态 ht),每读到一个新词元,就根据当前内容动态决定“擦掉哪些过时旧笔记、记下哪些关键新信息”(选择性机制),翻完百万字笔记本依然轻如鸿毛!

问题动机与演进背景 ​

回顾经典循环神经网络(RNN),它原本就拥有推理 O(1) 显存和 O(N) 线性复杂度的优良特性,但因非线性递推 ht=tanh⁡(Wht−1+Uxt) 无法跨时间步并行,在算力时代被 Transformer 全面淘汰。

新一代线性架构的共同核心洞察是:只要把状态递推中的“非线性”移除,改用线性时不变(LTI)或线性时变(LTV)状态更新,就能同时享有 RNN 的 O(1) 推理速度与类似 Transformer/CNN 的并行训练能力!

这一思想沿着三条交汇的主脉演进:

  1. 核技巧线性注意力(Katharopoulos et al., 2020):通过特征映射 ϕ 改写 Softmax,利用矩阵乘法结合律将 O(N2d) 化为 O(Nd2)。
  2. RWKV(Peng et al., 2023–2024):融合线性注意力与带通道衰减的指数移动平均(WKV 递推),进化出多头矩阵状态更新(RWKV-6/7),在纯非注意力开源社区落地至十亿至百亿级。
  3. 结构化状态空间模型(S4 → Mamba-1 → Mamba-2):源自控制理论连续微分方程,先借助 HiPPO 理论解决长程记忆初始化(S4),再突破时不变约束引入输入依赖选择性机制(Mamba-1),最终在 Mamba-2 中证明了状态空间模型与结构化掩码线性注意力之间严格的数学对偶(SSD)。

核心原理与数学推导 ​

1. 线性注意力(Kernel Trick)与定长状态递推 ​

标准注意力中 sim(qt,ki)=exp⁡(qt⊤ki/d) 因非线性指数函数耦合了 qt 与 ki,必须先算 N×N 矩阵。若将其替换为非负核特征映射的内积 ϕ(qt)⊤ϕ(ki)(例如 ϕ(x)=elu(x)+1),则因果注意力输出可利用结合律重写为:

yt=∑i=1tϕ(qt)⊤ϕ(ki)vi⊤∑i=1tϕ(qt)⊤ϕ(ki)=ϕ(qt)⊤∑i=1tϕ(ki)vi⊤⏞St∈Rd×dϕ(qt)⊤∑i=1tϕ(ki)⏟zt∈Rd

观察分子与分母中的累加项,它们天然满足极其简洁的 RNN 线性递推:

St=St−1+ϕ(kt)vt⊤,zt=zt−1+ϕ(kt)

解码时只需维护定长矩阵状态 St∈Rd×d!但纯加法累加没有“遗忘门”,状态很快会塞满噪声并丧失精准检索能力。

2. RWKV 与 WKV 衰减递推 ​

RWKV(Receptance Weighted Key Value) 为线性注意力引入了逐通道可学习的时间衰减参数 w∈R≥0d(类似指数遗忘门)以及当前词元特权加权 u。在经典的 RWKV-4 标量状态形式中:

wkvt=∑i=1t−1e−(t−1−i)w+ki⊙vi+eu+kt⊙vt∑i=1t−1e−(t−1−i)w+ki+eu+kt

其分子 at 与分母 bt 只需一步衰减累加递推即可更新(at=e−wat−1+ektvt),并经由门控接收向量(Receptance)调制输出 ot=Wo(σ(rt)⊙wkvt)。后续 RWKV-5/6/7 将状态扩展为多头二维矩阵并引入数据依赖衰减 wt 与 Delta-Rule 状态擦除,大幅提升了上下文记忆容量。

3. S4 与 HiPPO:连续状态空间与离散化 ​

控制论中的连续时间线性状态空间模型(SSM)将一维输入信号 x(t) 经由 Ns 维隐状态 h(t) 映射为输出 y(t):

h′(t)=Ah(t)+Bx(t),y(t)=Ch(t)

其中 A∈RNs×Ns 决定历史记忆如何演化。为了处理离散词元序列,使用步长 Δ 通过零阶保持(Zero-Order Hold, ZOH) 将其离散化为递推形式:

A¯=exp⁡(ΔA),B¯=(ΔA)−1(exp⁡(ΔA)−I)⋅ΔB≈ΔBht=A¯ht−1+B¯xt,yt=Cht

S4(Gu et al., 2021) 的两大突破在于:

  • HiPPO 矩阵初始化:利用勒让德多项式最优历史函数逼近理论构造特殊矩阵 A,彻底解决了线性递推的指数长程遗忘问题;
  • 卷积-循环对偶(Conv-RNN Duality):当 (A¯,B¯,C) 不随时间变化(时不变 LTI)时,展开递推等价于全局一维卷积 y=x∗K¯,其中卷积核 K¯=(CB¯,CA¯B¯,…,CA¯L−1B¯),训练时可通过快速傅里叶变换(FFT)在 O(Nlog⁡N) 内高度并行完成。

4. Mamba-1:选择性状态空间与硬件感知并行扫描 ​

Gu & Dao(2023)发现 LTI 模型(如 S4)致命软肋在于无法执行基于内容的推理(例如选择性复制或忽略无关填充词):因为转移矩阵 A¯,B¯,C 写死为常量,模型无法根据当前词元内容决定“重点记住”还是“彻底忽略”。

Mamba-1 引入选择性机制(Selective SSM / S6),让步长 Δt 以及输入/输出映射 Bt,Ct 均成为当前输入 xt 的线性函数(并将 A 简化为对角矩阵):

Bt=sB(xt),Ct=sC(xt),Δt=softplus(sΔ(xt)+bΔ)

物理意义极其清晰:

  • 当 Δt 较大时,A¯t=eΔtA→0 且 B¯t≈ΔtBt 很大——模型重置历史状态,强力写入当前重要词元;
  • 当 Δt 趋近于 0 时,A¯t→I 且 B¯t→0——模型冻结旧记忆,直接忽略当前噪声词元。

引入时变参数后,FFT 全局卷积失效。Mamba-1 通过并行前缀扫描(Parallel Associative Scan)(利用仿射线性变换结合律在 O(log⁡N) 深度内并行求全序列状态)结合 FlashAttention 式硬件融合内核(在片上 SRAM 中完成离散化与扫描,不把庞大的 [B,N,D,Ns] 中间状态写回 HBM),实现了比同规模 FlashAttention-2 更快数倍的吞吐。

5. Mamba-2:结构化状态空间对偶(SSD)与分块矩阵乘法 ​

尽管 Mamba-1 的并行扫描已很快,但它依然是标量/向量操作,无法充分吃满现代 GPU(H100/B200)专精矩阵乘法的 Tensor Core 算力。

Mamba-2(Dao & Gu, 2024) 揭示了一个震撼的理论统一——状态空间对偶(Structured State Space Duality, SSD):将对角矩阵 At 进一步简化为标量乘以单位阵 atI(每个注意力头共享同一个衰减标量 at∈(0,1)),展开递推矩阵形式:

y=Mx,Mij={Ci⊤(∏k=j+1iak)Bj,i≥j0,i<j

将矩阵 M 与因果衰减线性注意力 (L⊙(QK⊤))V 逐项对照:

  • C↔Q(查询)、B↔K(键)、X↔V(值);
  • 因果衰减下三角掩码 Lij=∏k=j+1iak 正是 1-半可分矩阵(1-Semiseparable Matrix)!

借助这一对偶性,Mamba-2 提出 Chunkwise SSD 算法:将序列切分为大小为 Q(如 64 或 128)的块——块内用二次方矩阵乘法(榨干 Tensor Core!)算对偶注意力,块间仅传递跨块边界的压缩状态 hchunk。既保留了全局 O(N) 线性复杂度,又支持比 Mamba-1 大 8× 的状态维度(Ns=64∼128),训练吞吐飙升 2×∼8×。

6. 混合架构(Jamba / Zamba / MiniMax-01)的工业收敛 ​

理论与大规模评测(如电话簿精确回忆任务 Recall / Copying)证明:任何定长隐状态受限于信息论香农容量上限,在超长文档的精确逐字回溯检索上天然弱于显式保留全部 KV 的 Softmax 注意力。因此,前沿工业界迅速收敛向 Hybrid SSM-Attention 混合架构:

  • Jamba(AI21 Labs):按 7:1 比例交替堆叠 Mamba 层与全注意力层,并在每两层中融合 MoE,将 256K 上下文 KV Cache 压缩至纯 Transformer 的 18;
  • Zamba(Zyphra):主干为全 Mamba 层,每隔 6 层插入一个全网共享权重的全局注意力层,极致省参同时恢复精确检索能力;
  • MiniMax-01 / Qwen3-Next:采用 7:1 或 3:1 的闪电线性注意力(Lightning Attention / Gated DeltaNet)与全 Softmax 注意力混合,兼顾百万级上下文极速吞吐与高精度大海捞针能力。

算法架构与数据流图 ​

图表加载中...

复杂度与横向对比表 ​

设序列长度为 N,模型维度为 d,状态维度为 Ns,分块大小为 Q:

序列建模架构训练/预填充复杂度单步解码计算量推理状态显存占用长程精确逐字回忆GPU Tensor Core 利用率
标准 Transformer (MHA/GQA)O(N2d)O(Nd)O(Nd)(随长度线性膨胀)极强(无损查阅全部 KV)极高(FlashAttention GEMM)
Linear Attention / RWKVO(Nd2)O(d2)O(d2)(O(1) 恒定)弱~中(受定长状态容量限制)高(分块矩阵形态)
S4(LTI SSM)O(Nlog⁡N⋅d)O(dNs)O(dNs)(O(1) 恒定)弱(时不变无内容选择)中(依赖 FFT 算子)
Mamba-1(Selective SSM)O(NdNs)O(dNs)O(dNs)(O(1) 恒定)中强(内容选择性遗忘)中(向量级并行扫描)
Mamba-2(SSD)O(NdNs+NQd)O(dNs)O(dNs)(O(1) 恒定)强(支持大状态 Ns=128)极高(Chunkwise GEMM)
Hybrid(Jamba / Zamba 等)近似 O(Nd2+18N2d)极低缩减 4×∼8×极强(媲美全注意力)极高

核心 PyTorch 参考实现 ​

以下代码清晰实现 Mamba-2 的核心 SSD(Structured State Space Duality)分块矩阵算法,直观演示如何用纯矩阵乘法(块内)+ 轻量级跨块状态传递实现 O(N) 线性复杂度,并验证其与纯串行 RNN 递推的严格数值等价性:

python
import torch
import torch.nn.functional as F


def segsum(x: torch.Tensor) -> torch.Tensor:
    """稳定计算下三角累积和 L_{ij} = sum_{k=j+1}^{i} x_k(对应 log 空间衰减因子)"""
    # x: [..., T] -> out: [..., T, T]
    T = x.size(-1)
    x = x.unsqueeze(-1).expand(*x.shape, T)
    mask_strict_lower = torch.tril(torch.ones(T, T, device=x.device, dtype=torch.bool), diagonal=-1)
    x = x.masked_fill(~mask_strict_lower, 0.0)
    x_segsum = torch.cumsum(x, dim=-2)
    mask_lower = torch.tril(torch.ones(T, T, device=x.device, dtype=torch.bool), diagonal=0)
    return x_segsum.masked_fill(~mask_lower, float("-inf"))


def ssd_chunkwise(
    X: torch.Tensor,      # [B, N, H, P] (等效 V)
    A: torch.Tensor,      # [B, N, H]    (log 空间标量衰减因子,负值)
    B_mat: torch.Tensor,  # [B, N, H, S] (等效 K, 状态维 S)
    C_mat: torch.Tensor,  # [B, N, H, S] (等效 Q, 状态维 S)
    chunk_size: int = 16,
) -> torch.Tensor:
    """Mamba-2 Chunkwise SSD 核心算法(纯 PyTorch 教学实现)"""
    B, N, H, P = X.shape
    S = B_mat.shape[-1]
    assert N % chunk_size == 0
    num_chunks = N // chunk_size

    # 重塑为块维度: [B, C_num, Q, H, ...]
    X_c = X.view(B, num_chunks, chunk_size, H, P)
    A_c = A.view(B, num_chunks, chunk_size, H).permute(0, 3, 1, 2)  # [B, H, C_num, Q]
    B_c = B_mat.view(B, num_chunks, chunk_size, H, S)
    C_c = C_mat.view(B, num_chunks, chunk_size, H, S)

    A_cumsum = torch.cumsum(A_c, dim=-1)  # 每块内从起点到当前步的累计 log 衰减

    # 1. 块内对角计算(对偶线性注意力形式,充分利用 GEMM Tensor Core)
    L = torch.exp(segsum(A_c))  # [B, H, C_num, Q_l, Q_s]
    Y_diag = torch.einsum("bclhn,bcshn,bhcls,bcshp->bclhp", C_c, B_c, L, X_c)

    # 2. 计算每个块独立产生的末尾隐状态(从块内各时刻衰减至块尾)
    decay_to_end = torch.exp(A_cumsum[..., -1:] - A_cumsum)  # [B, H, C_num, Q]
    chunk_states = torch.einsum("bclhn,bhcl,bclhp->bchnp", B_c, decay_to_end, X_c)

    # 3. 块间低维递推扫描(跨 num_chunks 步聚合历史状态)
    # 计算跨块衰减矩阵: [B, H, C_num+1, C_num+1]
    init_state = torch.zeros(B, 1, H, S, P, device=X.device, dtype=X.dtype)
    states_padded = torch.cat([init_state, chunk_states], dim=1)  # [B, C_num+1, H, S, P]
    chunk_decay = F.pad(A_cumsum[..., -1], (1, 0))  # [B, H, C_num+1]
    inter_decay = torch.exp(segsum(chunk_decay))    # [B, H, C_num+1, C_num+1]
    prev_states = torch.einsum("bhzc,bchnp->bzhnp", inter_decay, states_padded)[:, :-1]

    # 4. 将进入每个块的历史初始状态投影到块内每个时刻,并与块内结果相加
    decay_from_start = torch.exp(A_cumsum)  # [B, H, C_num, Q]
    Y_off = torch.einsum("bclhn,bchnp,bhcl->bclhp", C_c, prev_states, decay_from_start)

    return (Y_diag + Y_off).reshape(B, N, H, P)


def ssd_naive_rnn(X, A, B_mat, C_mat) -> torch.Tensor:
    """逐步串行 RNN 递推(推理模式,仅维护 O(1) 定长状态 h)"""
    B, N, H, P = X.shape
    S = B_mat.shape[-1]
    h = torch.zeros(B, H, S, P, device=X.device, dtype=X.dtype)
    outs = []
    for t in range(N):
        a_t = torch.exp(A[:, t, :]).view(B, H, 1, 1)  # 标量衰减
        # h_t = a_t * h_{t-1} + B_t (outer) X_t
        h = a_t * h + torch.einsum("bhs,bhp->bhsp", B_mat[:, t], X[:, t])
        y_t = torch.einsum("bhs,bhsp->bhp", C_mat[:, t], h)
        outs.append(y_t)
    return torch.stack(outs, dim=1)


if __name__ == "__main__":
    torch.manual_seed(42)
    B, N, H, P, S = 2, 64, 4, 32, 16
    X = torch.randn(B, N, H, P)
    A = -F.softplus(torch.randn(B, N, H)) * 0.2  # 负对数衰减,确保 exp(A) in (0, 1)
    B_mat = torch.randn(B, N, H, S) * 0.1
    C_mat = torch.randn(B, N, H, S) * 0.1

    y_chunk = ssd_chunkwise(X, A, B_mat, C_mat, chunk_size=16)
    y_rnn = ssd_naive_rnn(X, A, B_mat, C_mat)
    print("Chunkwise SSD shape:", y_chunk.shape)
    print(f"分块 SSD 与逐步 RNN 递推最大误差: {(y_chunk - y_rnn).abs().max().item():.2e}")

工程实践与常见陷阱 ​

工程实践

  1. 局部短卷积(Short 1D Conv)不可省略:在 Mamba-1/2 和 DeltaNet 模块进入 SSM 扫描之前,通常会先经过一个核宽为 4 的因果深度可分离一维卷积(Causal Depthwise Conv1D),用于高效捕捉相邻 2~4 个词元的局部 n-gram 特征,并作为移位寄存器大幅增强状态空间对局部词序的敏感度。
  2. 用少量全注意力层补足 Recall 短板:如果业务涉及长文档精准问答、代码跨文件引用或上下文拷贝,切勿盲目部署纯 SSM 模型;采用 混合架构(每 4~8 层线性/Mamba 层穿插 1 层 GQA/MLA 全注意力层)是工业界经大规模验证的最佳性价比平衡点。
  3. 块大小 Q 的硬件调优:在 Mamba-2 SSD 实现中,块大小 chunk_size 通常设为 64 或 128(极少数取 256),以便块内乘法矩阵恰好装入 GPU SRAM,平衡 O(Q) 块内计算量与跨块状态传输开销。

常见陷阱

  1. 衰减参数 A 初始化与精度陷阱:离散化参数 A 的实部必须严格为负(常见做法是存储 log⁡(−A) 参数并在前向取 −exp⁡(Alog)),否则特征值大于 1 会在长序列递推中触发指数级数值爆炸;此外 A 的更新与状态累加在 BF16 训练中务必保持 FP32 精度。
  2. Prefix Caching(前缀缓存复用)难度高于 KV Cache:在多轮对话或共享系统提示词服务中,Transformer 可以直接按任意截断点回退或复用历史 KV Cache;而 SSM/RNN 仅保存最后一个时刻的压缩状态 ht,无法直接从 ht 倒推出 ht−k,若需支持前缀复用(如 vLLM 对 Mamba 的适配),必须定期保存检查点快照状态(State Checkpointing)。
  3. 忽略输入门控(Gating)与 Normalization:早期线性注意力直接输出 Stqt 往往训练极不稳定;现代 Mamba-2 与 Gated Linear Attention 均在输出端结合了 RMSNorm 与 SiLU 残差门控(类似 SwiGLU),移除任一组件都会导致显著的困惑度退化。

延伸阅读与参考论文 ​

  • 核技巧线性注意力:Katharopoulos et al., Transformers are RNNs: Fast Autoregressive Transformers with Linear Attention, ICML 2020 (arXiv:2006.16236 ↗).
  • S4 与 HiPPO 理论奠基:Gu et al., Efficiently Modeling Long Sequences with Structured State Spaces (S4), ICLR 2022 (arXiv:2111.00396 ↗).
  • RWKV 架构演进:Peng et al., RWKV: Reinventing RNNs for the Transformer Era, EMNLP Findings 2023 (arXiv:2305.13048 ↗); Eagle and Finch: RWKV with Matrix-Valued States, 2024 (arXiv:2404.05892 ↗).
  • Mamba-1 选择性状态空间:Gu & Dao, Mamba: Linear-Time Sequence Modeling with Selective State Spaces, COLM 2024 (arXiv:2312.00752 ↗).
  • Mamba-2 SSD 对偶统一:Dao & Gu, Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality, ICML 2024 (arXiv:2405.21060 ↗).
  • 大规模混合架构落地:Lieber et al. (AI21), Jamba: A Hybrid Transformer-Mamba Language Model, ICLR 2025 (arXiv:2403.19887 ↗); MiniMax, MiniMax-01: Scaling Foundation Models with Lightning Attention, 2025 (arXiv:2501.08313 ↗).