外观
概念定义 · 什么是线性注意力、Gated DeltaNet 与测试时训练(TTT)?
为了摆脱标准注意力
新一代架构(GLA、Gated DeltaNet、TTT、Titans)的核心突破在于把“记忆矩阵”升级成一块会选择性擦除旧值、甚至在推理现场实时做梯度下降更新内部小网络权重的高级动态记忆。
01 问题从何而来:为什么第一代线性注意力读完长文总是“记混串台”?
我们在 SSM 与 Mamba 里见过线性复杂度的诱惑:甩掉越来越沉的 KV Cache,不管读一万字还是一百万字,脑海里永远只维护一张大小固定的压缩状态表
可真正拿纯线性注意力去考“超长合同查手机号”或“追查代码里某个变量最后被改成了几”,它立刻露馅了!病根出在它的记忆写入方式太粗糙——纯加法叠加(
类比 · 三代记忆黑板:乱涂乱画 → 湿抹布全擦 → 手术级橡皮擦
把线性模型那张固定大小的隐状态
- 早期纯线性注意力(只写不擦):每读到一个新词,就往黑板上叠着写新字。写满 64 条以后,新字压旧字,整块黑板彻底糊成一团浆糊(记忆过载)!
- GLA / Mamba-2(拿大湿抹布整体淡化):GLA(2024)↗ 和 Mamba-2 给黑板配了“数据依赖遗忘门”——快写满时,拿大湿抹布把整块黑板统一擦淡一点,腾出地方写新字。虽然不糊了,可如果之前记过“密码 = 1234”,现在改成“密码 = 5678”,大抹布没法单擦那一行,旧密码依然阴魂不散!
- DeltaNet / Gated DeltaNet(精准橡皮擦 + 大抹布):Yang 等人(2024)↗ 装上了外科手术级精准橡皮擦(Delta Rule)!遇到“密码改成 5678”,它先精准定位“密码”这一栏,把旧值 1234 一笔擦净,再把 5678 填进去——黑板上其他无关笔记毫发无损!遇到话题大切换,再掏出全局衰减门
一键清空黑板!
核心设问
DeltaNet 这种“先读出旧值、算误差、再精准覆写”的操作,听起来怎么那么像神经网络训练时的梯度下降?如果线性注意力隐状态本质上是一个在推理时做梯度下降的“线性小模型”,那我们干脆把隐状态升级成多层神经网络(TTT / Titans) 会发生什么?
02 核心直觉:原来“隐状态递推”就是“推理时在线学习”!
2024 到 2025 年,序列建模界迎来了最令人拍案叫绝的脑洞大一统:RNN 的隐状态矩阵
- GLA(门控线性注意力):给每条特征配独立遗忘速率GLA(Yang et al., 2024)↗ 引入了数据依赖的细粒度遗忘门
,再配以硬件友好的 FlashLinearAttention 分块算法,连 1K 短序列的训练速度都能反超 FlashAttention-2,让线性注意力彻底撕掉了“又慢又弱”的旧标签。 - DeltaNet 与 Gated DeltaNet:精准擦写也能吃满 GPU! 以前大家早就知道 Delta Rule 记忆力碾压纯加法,却一直不敢用——因为每一步状态转移都乘了一个稠密矩阵
,看起来只能一个词一个词串行算,训练慢如蜗牛。直到 Parallel DeltaNet(2024)↗ 借来数值线性代数的 Householder WY 表示法,把一小块(如 64 个词)内的连续擦写打包成纯矩阵乘法,一下子既保留了外科手术级精准检索,又跑出了媲美 Mamba-2 的训练速度! - TTT(Test-Time Training)与 Titans:把小黑板升级成“随身小大脑”! 既然 DeltaNet 只是给一个“单层线性模型
”在测试时做一步梯度下降,TTT(Sun et al., 2024)↗ 直接掀桌子:干脆让隐状态变成一个双层 MLP 神经网络权重 !每读进新文本,模型现场用自监督重构误差做梯度下降,把上下文知识直接压缩进权重里!
类比 · Titans 的“惊喜度”记忆法:为什么你记得住初恋却记不住上周三午饭?
Google Research 提出的 Titans(2025)↗ 更把人类心理学写进了公式:人的长期记忆靠的是惊喜度(Surprise)——每天吃一样的外卖毫无波澜,大脑直接跳过;突然中了彩票,强烈震惊让你牢牢记住当时每一秒!
在 Titans 里,神经长期记忆模块的梯度大小就是“惊喜度”:如果当前词元在预料之中,梯度接近
03 把关键公式读成人话
先看当前工业界最火的 Gated DeltaNet 单步记忆更新公式(Yang et al., 2024 ↗):
**把公式读成直觉:**把它稍微拆开写成两行,瞬间一目了然:
- 先做全局淡化:把旧黑板整体乘上保留率
(换话题时 变小一键清屏,聊同一话题时 稳稳保住旧账); - 再做精准覆写:从旧黑板里按当前键
查出旧值 ,算出差值 ,按步长 只修改 方向上的内容!其他和 毫不相干(正交)的记忆连一丁点擦痕都不会留下。
再对比 Titans 的神经长时记忆更新公式(Behrouz et al., 2025 ↗):
把惊喜度与动量读进脑海:这里的
是瞬时惊喜度:旧记忆预测当前词元越离谱,误差梯度越大; 是惊喜动量:哪怕突发事件已经过去几个词,动量 依然能让大脑顺手把紧随其后的上下文细节一起记牢; 是自适应遗忘门:容量紧张时自动淡化最久远的记忆权重。
类比 · 打包快递的“Householder WY 并行秘籍”
DeltaNet 明明记忆力那么强,为什么前几年大家只敢在纸上谈兵?因为它的精准擦写每走一步都要乘一个稠密矩阵
直到 Yang 等人(2024)↗ 祭出了数值线性代数里的传家宝——WY 表示法:把连续 64 个词元的擦写操作打包成一个极小的
04 它在模型里怎么工作 & 与上下游的关系
尽管 Gated DeltaNet 与 Titans 已经把
- 工业主力落地(如新一代 Qwen 系列 混合架构):将 Gated DeltaNet 层 与少量全 Softmax 注意力 / GQA 按 3:1 等比例交替堆叠——75% 的层负责线性高速吞吐、精准键值覆写与恒定显存,25% 的层充当无损精确档案柜,轻松把百万词元推理显存压低 4 倍同时死守“大海捞针”精度!
- Titans 的“长短期记忆双轨大脑”:直接把人类大脑的海马体与工作记忆搬进架构——用标准滑窗 自注意力 当成精准的短期工作记忆,把测试时梯度更新的神经记忆
当成海量的长期持久记忆,衍生出 MAC(长期记忆作为提示上下文喂给注意力)、MAG(门控并行融合)与 MAL(逐层堆叠)三种形态,在超过 200 万词元的 长上下文 评测中大幅领先纯 Mamba-2 与基线 Transformer。
05 演化对比与避坑备忘
| 架构 | 隐状态形态 | 擦写与记忆策略 | 精准检索能力 | 训练并行手段 |
|---|---|---|---|---|
| 纯线性注意力 | 纯加法累加(易过载) | 弱 | 普通分块 GEMM | |
| GLA / Mamba-2 | 数据依赖全局/通道衰减 | 中~强 | SSD / FLA 分块 | |
| DeltaNet | 单键精准覆写(缺快速清屏) | 强 | Householder WY 分块 | |
| Gated DeltaNet | 全局衰减 + 单键精准覆写 | 极强(当前线性标杆) | 衰减 WY 分块 GEMM | |
| TTT / Titans | 深层 MLP 权重 | 测试时梯度下降 + 惊喜度动量 | 超长程非线性极强 | Mini-Batch 批量更新 |
四个实战最容易踩的坑:
- DeltaNet 的键向量
必须严格做 归一化:转移阵 稳定的前提是 ;如果忘了归一化导致 ,连乘几百步隐状态就会像核弹一样指数爆炸! - 对数衰减差值切忌直接做除法:在写分块并行代码时,千万别算
exp(g_i) / exp(g_j),长衰减下分子分母都会下溢成0 / 0 = NaN!务必在对数空间算完g_i - g_j并盖上下三角掩码,再统一exp。 - 别省掉输入前的“因果 1D 短卷积”与输出门控:和 Mamba-2 一样,进入 Gated DeltaNet 前配一层核宽为 4 的短卷积捕捉局部词序、输出端配一层 RMSNorm + SiLU 门控,是实测掉点与否的关键细节。
- TTT / Titans 训练时警惕“二阶梯度”显存暴涨:外层反向传播要穿过内层的测试时梯度下降步骤求“梯度的梯度”,显存消耗比纯线性矩阵高得多,务必合理设置 Mini-Batch 块长并开启激活重计算。
想查看从在线最小二乘导出 Delta Rule 的完整推导、Householder WY 表示法矩阵方程,以及纯 PyTorch 实现并校验“WY 分块并行 vs 逐步递推”零误差的完整代码?按快捷键
M或点击顶部技术 Wiki随时切换。
第一代线性注意力与 Mamba/SSM 成功将序列建模的训练复杂度压至
直观理解
把线性模型的定长隐状态想象成一块面积固定的黑板:
- 早期线性注意力只管往黑板上不断叠加新字(纯加法),写几十条就糊成一团浆糊;
- GLA / Mamba-2 给黑板配了一把大号湿抹布(衰减门控),快写满时把整块黑板整体擦淡一点,虽然不糊了,但旧的重要笔记也跟着一起变淡;
- DeltaNet / Gated DeltaNet 则是外科手术级精准橡皮擦:如果之前写过“密码 = 1234”,现在要改成“密码 = 5678”,它先精准擦掉“密码”这一条的旧值,再写进新值,黑板上其他八竿子打不着的笔记毫发无损!
- TTT 与 Titans 更进一步:干脆把黑板升级成一台随身自带梯度学习引擎的微型神经网络大脑,每读到一个出乎意料的“惊喜词元”,当场在推理时做一次权重更新把它牢牢背下来!
起源背景与演进脉络
回溯经典核线性注意力(Katharopoulos et al., 2020),其隐状态更新遵循最朴素的 Hebbian 外积累加规则:
这里潜藏着致命的记忆过载瓶颈(Memory Overload):对于
为了在不破坏
- 数据依赖门控遗忘(GLA, Yang et al., ICML 2024):引入细粒度数据依赖衰减矩阵
与硬件感知分块算法(FlashLinearAttention),在 1K 短序列上吞吐即反超 FlashAttention-2; - 精准擦写与硬件并行突破(Parallel DeltaNet, Yang et al., NeurIPS 2024):将经典的 Widrow-Hoff Delta Rule 引入线性注意力,并首创 Householder WY 表示法 攻克了 Delta Rule 原本无法跨序列并行训练的历史难题;
- 双门控融合巅峰(Gated DeltaNet, Yang et al., ICLR 2025):融合 Mamba-2 的全局快速遗忘门
与 DeltaNet 的精准单点擦写,成为当前工业界(如 Qwen3-Next 混合主干)最具代表性的线性注意力算子; - 非线性测试时神经记忆(TTT, Sun et al., 2024 & Titans, Behrouz et al., 2025):打破矩阵状态的线性束缚,把隐状态泛化为 MLP 参数权重,以自监督损失梯度作为“惊喜度”信号,配合动量与权重衰减在测试时动态记忆超长上下文。
核心原理与数学推导
1. GLA:细粒度门控线性注意力
GLA(Gated Linear Attention) 为矩阵状态
与 Mamba-2 整个头共享同一个标量衰减不同,GLA 允许每个键特征维度拥有独立的遗忘速率,同时借助分块并行化(Chunkwise Parallel) 将全局状态递推拆解为块内二次方矩阵乘法与块间状态传递,榨干 GPU Tensor Core 算力。不过,门控衰减本质仍是“成片淡化”,依然无法针对单个键
2. DeltaNet 与 Gated DeltaNet:在线最小二乘与精准擦写
将状态矩阵
对其求关于
这一公式(Delta Rule)的物理机制极其精妙:
- 先用当前键
从旧记忆里读出原有值 ; - 计算残差(误差)
,沿 方向精准扣除旧值并写入新值; - 对任何与
正交的键 ( ), ,原有记忆毫发无损!
但纯 DeltaNet 也有一个短板:每次只能擦除沿着单个方向
- 当
时瞬间执行全局清零(应对话题切换、释放容量); - 当
且 时执行外科手术级单键覆写(应对变量重赋值、精准键值跟踪); - 当
时冻结当前状态原样跳过噪声词元。
3. 攻克并行化死结:Householder WY 表示法
由于转移矩阵
其中
4. 从线性矩阵到神经网络权重:TTT 与 Titans
一旦看透“DeltaNet = 线性模型
- TTT(Test-Time Training, Sun et al., 2024):直接定义隐状态为一个参数化机器学习模型
(如 2 层残差 MLP TTT-MLP),每个时间步利用多视图投影构造自监督重构损失 ,并在推理(测试)时实时执行梯度下降更新隐状态权重 ,最后输出 。为了并行训练,TTT 引入 Mini-Batch TTT(每 个词元构成一个小批并行算梯度并一次性更新 ),成功转化为高效的矩阵运算。 - Titans(Google Research, Behrouz et al., 2025):在神经长时记忆(Neural Long-Term Memory)中进一步引入人类认知记忆的两大机制:
- 惊喜度驱动与动量累积(Surprise with Momentum):梯度
越大代表当前信息越令人“意外”;Titans 用带衰减系数的动量 保持对突发惊喜事件前后连贯上下文的持续关注: - 长短期双轨协同:以神经记忆
充当持久化长期记忆,以局部窗口/全 Softmax 注意力充当精确短期记忆,提出 MAC(记忆作上下文)、MAG(记忆作门控) 与 MAL(记忆作层级) 三种融合架构,在 2M+ 超长上下文大海捞针评测中大幅超越纯 Mamba-2 与基线 Transformer。
- 惊喜度驱动与动量累积(Surprise with Momentum):梯度
算法架构与演进数据流图
图表加载中...
架构特性横向对比表
| 架构 | 隐状态形态 | 遗忘 / 擦除机制 | 并行训练机制 | 精确联想召回能力 | 推理显存 |
|---|---|---|---|---|---|
| Linear Attention | 无遗忘(纯加法过载) | 分块矩阵乘法 | 弱 | ||
| Mamba-2 (SSD) | 逐头标量指数衰减 | SSD 分块 GEMM | 中~强 | ||
| GLA | 数据依赖细粒度矩阵门控 | FlashLinearAttention 分块 | 中~强 | ||
| DeltaNet | 秩-1 键方向精准覆写(无全局清零) | Householder WY 分块 GEMM | 强(擅长单键覆写) | ||
| Gated DeltaNet | 全局标量衰减 | 衰减 WY 分块 GEMM | 极强(当前线性最优之一) | ||
| TTT-MLP / Titans | 深层 MLP 神经网络权重 | 测试时梯度更新 + 动量 + 权重衰减 | Mini-Batch 批量在线 SGD | 超长程非线性泛化极强 |
核心 PyTorch 参考实现
下面用简洁清晰的纯 PyTorch 实现 Gated DeltaNet 的逐步 RNN 递推与 WY 表示分块并行(Chunkwise Parallel)算法,并验证两者在数值上完全等价:
python
import torch
import torch.nn.functional as F
def gated_deltanet_recurrent(q, k, v, alpha, beta) -> torch.Tensor:
"""Gated DeltaNet 逐步递推(推理 O(1) 定长状态 S: [B, H, D, D])"""
B, H, N, D = q.shape
S = torch.zeros(B, H, D, D, device=q.device, dtype=q.dtype)
outs = []
for t in range(N):
k_t, v_t, q_t = k[:, :, t], v[:, :, t], q[:, :, t]
S = alpha[:, :, t].view(B, H, 1, 1) * S # 全局遗忘
v_old = torch.einsum("bhd,bhde->bhe", k_t, S) # 按键读旧值
delta = beta[:, :, t].view(B, H, 1) * (v_t - v_old) # Delta 残差
S = S + torch.einsum("bhd,bhe->bhde", k_t, delta) # 精准覆写
outs.append(torch.einsum("bhd,bhde->bhe", q_t, S))
return torch.stack(outs, dim=2)
def gated_deltanet_chunkwise_wy(q, k, v, alpha, beta, chunk_size: int = 16) -> torch.Tensor:
"""Gated DeltaNet 分块并行算法(衰减 Householder WY Representation)"""
B, H, N, D = q.shape
C, Q = N // chunk_size, chunk_size
eye_Q = torch.eye(Q, device=q.device, dtype=q.dtype)
tril = torch.tril(torch.ones(Q, Q, device=q.device, dtype=torch.bool))
strict_tril = torch.tril(torch.ones(Q, Q, device=q.device, dtype=torch.bool), diagonal=-1)
q_c, k_c, v_c = [t.view(B, H, C, Q, D) for t in (q, k, v)]
beta_c = beta.view(B, H, C, Q)
g = torch.cumsum(torch.log(alpha.clamp(min=1e-6)).view(B, H, C, Q), dim=-1)
# 1. 块内 WY 表示:求单位下三角逆 T = (I + A)^{-1},得到并行修正因子 W, U
decay = torch.exp((g.unsqueeze(-1) - g.unsqueeze(-2)).masked_fill(~tril, float("-inf")))
A = (beta_c.unsqueeze(-1) * (torch.matmul(k_c, k_c.transpose(-1, -2)) * decay)).masked_fill(~strict_tril, 0.0)
T = torch.linalg.solve_triangular(eye_Q + A, eye_Q.expand_as(A), upper=False, unitriangular=True)
W = torch.matmul(T, (beta_c * torch.exp(g)).unsqueeze(-1) * k_c)
U = torch.matmul(T, beta_c.unsqueeze(-1) * v_c)
# 2. 跨块传递状态 S(仅循环 C = N / Q 次),块内计算全为高吞吐 GEMM
S, outs = torch.zeros(B, H, D, D, device=q.device, dtype=q.dtype), []
for c in range(C):
u_corr = U[:, :, c] - torch.matmul(W[:, :, c], S)
qk_intra = torch.matmul(q_c[:, :, c], k_c[:, :, c].transpose(-1, -2)) * decay[:, :, c]
o_intra = torch.matmul(qk_intra, u_corr)
o_inter = torch.matmul(q_c[:, :, c] * torch.exp(g[:, :, c]).unsqueeze(-1), S)
outs.append(o_intra + o_inter)
g_end = g[:, :, c, -1:]
S = torch.exp(g_end).unsqueeze(-1) * S + torch.matmul(
(k_c[:, :, c] * torch.exp(g_end - g[:, :, c]).unsqueeze(-1)).transpose(-1, -2), u_corr
)
return torch.cat(outs, dim=2)工程实践与常见陷阱
工程实践
- 键向量
归一化是 DeltaNet 稳定的生死线:观察特征值可知,矩阵 的最小特征值为 。只有对 严格执行 归一化(确保 )并限制 (或扩至 以允许负特征值反射增强状态追踪),转移矩阵的谱半径才严格不超过 ,保证百万步递推永不发散。 - 配合短卷积与 3:1 混合全注意力主干:与 Mamba-2 一致,在
q, k, v进入 Gated DeltaNet 之前加一层核宽为 4 的因果深度可分离一维短卷积(Short Conv1D)并在输出端加 RMSNorm 与 SiLU 门控,可大幅增强局部短语建模;生产级大模型(如 Qwen3-Next)则按 3 层 Gated DeltaNet + 1 层全注意力 的混合配比,兼得 4 倍显存压缩与无损长文精准检索。 - 依托
flash-linear-attention(FLA)Triton 融合核:上述 WY 分块中的下三角求逆与块内矩阵乘在生产中需使用开源fla库的片上 SRAM 融合 Triton 内核,否则纯 PyTorch 调用solve_triangular会产生大量 HBM 访存开销。
常见陷阱
- 忽略
与特征值符号对状态追踪的影响:早期 DeltaNet 将 限制在 (仅支持正向缩减,无法实现正负号翻转);近期理论研究表明,将步长放宽至 使 Householder 变换包含 特征值,能显著提升奇偶校验、状态机追踪等形式语言任务的表现,但须严格确保 以防数值发散。 - TTT / Titans 的二阶梯度显存开销:在训练 TTT-MLP 或 Titans 时,外层预训练反向传播需要穿过内层测试时梯度下降步骤求导(Gradient of Gradient),显存与算力开销显著高于线性状态模型。工程实现必须采用较大 Mini-Batch 块大小(如
)并配合梯度检查点(Activation Checkpointing)控制显存峰值。 - 块内指数衰减
exp(g_i - g_j)下溢与上溢:当块内累积衰减很大(很小导致 极负)时,直接先算 极易产生 0 / 0 = NaN。必须如上方参考代码所示,始终在对数空间内先做差值g_i - g_j并应用下三角掩码后再取指数,且对数累加保持 FP32 精度。
延伸阅读与参考论文
- 门控线性注意力与硬件并行:Yang et al., Gated Linear Attention Transformers with Hardware-Efficient Training, ICML 2024 (arXiv:2312.06635 ↗).
- DeltaNet 与 WY 分块并行化:Yang et al., Parallelizing Linear Transformers with the Delta Rule over Sequence Length, NeurIPS 2024 (arXiv:2406.06484 ↗).
- Gated DeltaNet 双门控融合:Yang et al., Gated Delta Networks: Improving Mamba2 with Delta Rule, ICLR 2025 (arXiv:2412.06464 ↗).
- 测试时训练层(TTT)奠基:Sun et al., Learning to (Learn at Test Time): RNNs with Expressive Hidden States, 2024 (arXiv:2407.04620 ↗).
- Titans 惊喜度驱动神经长时记忆:Behrouz et al., Titans: Learning to Memorize at Test Time, 2025 (arXiv:2501.00663 ↗).