外观
概念定义 · 什么是 Transformer 架构?
Transformer 是当今几乎所有大语言模型(GPT、Claude、Gemini、LLaMA、DeepSeek、Qwen)共同的底层神经网络骨架。在它出现之前,处理文字靠 RNN 逐字接力,既慢又容易忘掉前文;Transformer 彻底抛弃循环结构,用 「自注意力(负责词与词之间全局沟通)」+「前馈网络(负责每个词独立消化知识)」+「残差与归一化(负责稳住深层信号)」 搭出标准积木块,把这种积木块垂直堆叠几十上百层,就成了现代大模型。
01 问题从何而来:为什么 RNN 撑不起大语言模型?
在 2017 年 Transformer(Vaswani et al., 2017)↗ 诞生之前,处理文字序列的老大是循环神经网络(RNN / LSTM)。它的工作方式非常符合人类直觉——从左到右一个字一个字往下读,手里攥着一个不断更新的“记忆小本本”(隐状态
可一旦我们想把模型做大、喂给它上万亿字语料,这套办法立刻撞上了两堵死墙:第一,不能并行,算第 100 个字必须干等第 99 个字算完,几千块 GPU 买回来只能干瞪眼;第二,记不住长距离,一句话开头的主语要跨越几百步传到结尾,就像玩“传话游戏”,传到后面早就面目全非。
类比 · 传话游戏 vs. 圆桌会议
RNN 像一排单列纵队玩传话游戏:第一个人看完纸条,悄悄说给第二个人,一路传到队尾。不仅排队耗时极长,传到第 50 个人时,“猫追老鼠”可能早就传成了“狗咬耗子”。
Transformer 干脆把队伍拆掉,请所有人坐进同一间圆桌会议室:每个词元直接坐在桌旁,一抬头就能同时看到桌上所有其他词元,一步到位直接对话(最大路径长度从
核心设问
如果彻底抛弃“一步一步串行读”的循环结构,只靠全局并行交互和逐词加工,能不能同时做到训练吃满千卡算力、长距离信息无损直达,还能统一翻译、写作、编程、推理等几乎所有语言任务?
02 核心直觉:一条不断精炼语义的双工位流水线
很多人初学 Transformer 会被密密麻麻的方框图吓到,其实把一整座百层大模型拆开,里面无非是把同一个标准模块像乐高积木一样重复堆叠
类比 · 杂志编辑部的“双工位流水线”
把一段输入文本想象成一叠正在改稿的稿件,顺着一条主传送带(残差流)穿过几十层编辑部。每一层只有两个工位:
- 沟通工位(自注意力机制):让稿件里的每个词元互相串门、搬运上下文信息。比如句子里的“它”跑去向前面十个词打听一圈,终于搞清楚“它”指代的是“那只橘猫”,把这份线索带回自己座位。
- 思考工位(前馈网络 FFN / SwiGLU):所有词元回到各自工位关起门来独立消化。此时不跟别人交流,而是拿着刚收集到的上下文去翻自己脑子里的“百科知识库”——比如把“法国 + 首都”映射到“巴黎”,再把思考增量写回主传送带。
浅层工位负责拼词法、理顺主谓宾;中层工位负责理清指代、调取常识;顶层工位则把所有线索汇总成精准的下一个词预测。
至于为什么今天的通用大模型(GPT-4、LLaMA-3、Qwen、DeepSeek)几乎全部收敛到了 Decoder-Only 架构,而不是 2017 年原版的 Encoder-Decoder 或 BERT(2019)↗ 的 Encoder-Only?
直觉上也很简单:Encoder-Only 像只练“完形填空”的做题家,理解很强但不会顺着往下写;Encoder-Decoder 像把“阅读”和“写作”硬拆成两间办公室,跨办公室传纸条结构冗余;而 Decoder-Only 只保留一个带因果掩码的解码器,把翻译、问答、写代码全部统一成同一件事——给定前文,续写下一个词。每个词元都在参与预测监督,训练效率极高,还天然适配推理期的 KV Cache 复用。
03 把关键公式读成人话
现代 LLaMA / DeepSeek 风格的单个 Transformer 块,可以浓缩成两行极度凝练的公式:
**把公式读成直觉:**把 + 号叠加上去;紧接着再用同样的方式过一遍 SwiGLU FFN 补上非线性思考,得到下一层状态
另一条每个大模型工程师都背得滚瓜烂熟的“算力账本公式”,揭示了训练一座模型到底要花多少钱:
12 和 6 这两个神奇常数从哪来?:-
:一次矩阵乘加(乘一次加一次)算 次浮点运算(FLOPs),所以推理每生成一个词元大约花 次运算;而训练时既要算前向传播( ),又要算反向传播对输入和权重的两份梯度( ),加起来正好是每个训练词元花 FLOPs,乘以总训练词元数 就是整次训练的总算力账单(详见 缩放定律)。
04 它在模型里怎么工作 & 与上下游的关系
从整条端到端链路看,Transformer 主干稳居最核心的中枢位置:
- 上游入口:离散文字先经过 分词(BPE) 切成词元 ID,再由 Token Embedding 查表变成连续向量矩阵,送进第 1 层 Transformer 块。
- 块内五虎将:现代标准块由五大组件紧密咬合——归一化机制 稳住数值、GQA / MLA 压缩注意力缓存、RoPE 注入相对位置、SwiGLU 或 稀疏 MoE 提供知识容量、残差连接 保证百层梯度畅通。
- 下游出口与演进:最后一层输出经末端
RMSNorm和LM Head投影回词表概率分布,训练端对接 自回归预训练目标,推理端对接 FlashAttention 与 解码采样;而在百万级超长文本场景下,业界也正探索将 Transformer 与线性复杂度的 Mamba / SSM 混合拼接。
05 演化对比:三条宏观拓扑为何终局合一?
2017 年之后,社区曾分化出三条风格迥异的 Transformer 路线:
- Encoder-Only(BERT, 2019 ↗):双向全可见,像做完形填空,擅长分类、检索向量提取,但不会原生自回归续写。
- Encoder-Decoder(T5, 2020 ↗):编码器双向读原文,解码器单向写译文,传统翻译和摘要很强,但跨结构衔接在通用对话与长上下文下显得笨重。
- Decoder-Only(GPT / Llama 3, 2024 ↗ / DeepSeek):单一因果栈走天下,每个词元都参与监督、天然涌现上下文学习(In-Context Learning)并无缝复用 KV Cache,最终一统通用大模型江湖。
从 2017 年原版走到今天的现代标准块,内部组件也经历了全面换血:
| 对比维度 | 2017 原始 Transformer | 现代主流 LLM(LLaMA-3 / DeepSeek) | 核心进化原因 |
|---|---|---|---|
| 宏观拓扑 | Encoder-Decoder | Decoder-Only 因果栈 | 统一一切任务,KV Cache 天然复用 |
| 归一化位置与算子 | Post-LayerNorm | Pre-RMSNorm(或 Sandwich-Norm) | 百层深网免严苛预热,访存快 15%~30% |
| 位置编码 | 输入端加正弦波 | 块内 | 内积涌现相对位置,支持外推扩窗 |
| 注意力与前馈 | MHA + ReLU FFN | GQA / MLA + SwiGLU / MoE | 压垮 KV 显存墙,提升单位参数知识密度 |
06 三个最容易踩的工程坑
- 短序列估算公式别硬套超长上下文:
忽略了注意力的二次项 。当上下文飙升到 64K~128K 时,序列长度远超 ,注意力打分将反超线性投影成为真正的算力大头。 - 维度不对齐白白浪费 15% 算力:词表大小
、隐藏维度 和 FFN 中间维度 尽量补齐到 64 或 128 的整数倍(比如把 50257 补到 50304),GPU Tensor Core 才能满血吃满矩阵分块指令。 - 因果掩码偏一格,训练就“作弊归零”:自回归训练中哪怕把上三角掩码错位一格,让第
个词偷看到第 个词,训练 Loss 会光速掉到接近 0,一到真实生成却满口胡话。
想查看精确的 FLOPs 与参数量推导、Encoder/Prefix/Decoder 完整对比表以及可运行的
MiniDecoderLMPyTorch 代码?按快捷键M或点击顶部技术 Wiki随时切换。
Transformer 是现代大语言模型(Large Language Models, LLM)的通用骨干架构。它彻底摒弃了循环神经网络(RNN/LSTM)沿时间步串行依赖的计算范式,也摆脱了卷积神经网络(CNN)局部感受野的局限,转而通过 自注意力(Self-Attention) 与 前馈网络(FFN) 的交替堆叠,实现了高度并行化的全局序列建模。从 2017 年的机器翻译模型起步,Transformer 历经三条拓扑分支的分化与收敛,最终确立了以 LLaMA、Qwen、DeepSeek 为代表的现代 Decoder-Only 范式。
直观理解
可以把 Transformer 想象成一条多工位的信息加工流水线(残差流):每一层包含两个核心工位——注意力模块负责让句子中不同位置的词元互相“交流沟通、搬运信息”,而前馈网络模块则让每个词元基于刚获取的上下文独立“深度思考、检索知识”。重复堆叠数十层后,浅层的词汇语法信息便逐步提炼为深层的逻辑与语义表征。
问题动机与演进背景
在 Transformer 诞生之前,序列建模长期由 RNN(如 LSTM、GRU)主导。RNN 存在两个难以克服的瓶颈:
- 串行计算不可并行:时刻
的隐状态 严格依赖 ,导致训练阶段无法充分利用 GPU 的大规模矩阵并行算力,极大限制了语料与参数规模的扩展。 - 长程依赖梯度衰减:信息必须经过
步状态传递才能跨越长度为 的序列,远距离词元间的路径过长,引发梯度消失与信息瓶颈。
2017 年 Vaswani 等人提出原始 Transformer(Encoder-Decoder 架构),将任意两个词元之间的最大交互路径缩短至
- Encoder-Only(如 BERT、RoBERTa):采用双向全可见注意力,擅长自然语言理解(分类、抽取、检索嵌入),但无法原生执行自回归文本生成。
- Encoder-Decoder(如 T5、BART):编码器双向理解源序列,解码器单向自回归生成目标序列并通过交叉注意力(Cross-Attention)对齐两端,在翻译与摘要任务中表现优异,但在统一多任务和少样本上下文学习(In-Context Learning)上结构较为冗余。
- Decoder-Only(如 GPT 系列、LLaMA、DeepSeek):仅保留带因果掩码(Causal Mask)的解码器栈。研究与大规模实践表明,Decoder-Only 拓扑在零样本泛化、长上下文推理、无监督续写统一所有 NLP 任务以及KV Cache 推理复用方面具备显著优势,且在同等参数量下每个词元都参与预测监督,训练样本效率更高,成为当今通用大模型的绝对主流。
核心原理与数学推导
现代标准 Decoder-Only 块结构
相较于 2017 年原版(Post-Norm + LayerNorm + 绝对正弦位置编码 + ReLU FFN),以 LLaMA-3 和 DeepSeek 为代表的现代 Transformer 块(Modern Transformer Block)完成了一系列深度改良:Pre-RMSNorm + RoPE + GQA/MLA + SwiGLU(或 MoE),并以 残差流 贯穿全网,辅以 KV Cache 与 FlashAttention 支撑高效推理。
设第
经过
其中
参数量精确推导
以标准稠密 Decoder-Only 模型(采用 MHA 与 SwiGLU,忽略微小的归一化缩放向量与偏置项)为例,设隐藏维度为
- 注意力子层参数(
): 若采用分组查询注意力(GQA),设查询头数为 、键值头数为 ,则 ,此时 。 - 前馈网络子层参数(
, ): - 总非嵌入参数量与全模型参数量:
前向与训练计算量(FLOPs)精确公式
一次标量乘加(MAC)计为
处理长度为
- 线性投影(QKV + O + FFN):每个参数在每个词元上参与一次乘加,贡献
FLOPs。 - 注意力得分与加权求和(
与 ):两项均为 ,合计 FLOPs(因果掩码在 FlashAttention 优化下可近似减半至 )。
因此,全模型单次前向传播(Forward)总 FLOPs 为:
在短序列(
- 推理前向单词元算力:
FLOPs/token。 - 训练步算力(前向
+ 反向对输入和权重求导 ): 其中 为训练总词元数(若开启激活重计算 Activation Checkpointing,反向需重算一次前向,系数升至约 )。
算法架构与数据流图
下图展示了现代 LLaMA/DeepSeek 风格 Decoder-Only Transformer 的宏观数据流与块内拓扑:
图表加载中...
复杂度与横向对比表
| 拓扑架构 | 代表模型 | 注意力可见范围 | 典型预训练目标 | 核心优势 | 主要局限 |
|---|---|---|---|---|---|
| Encoder-Only | BERT, RoBERTa, ModernBERT | 全双向可见 | 掩码语言模型(MLM) | 双向上下文表征强,适合检索、分类、重排 | 无法原生自回归生成;预训练与微调存在 <mask> 差异 |
| Encoder-Decoder | T5, BART, Flan-T5 | 编码器双向 + 解码器因果 + 交叉注意力 | Span Corruption / 去噪重建 | 源-目标解耦清晰,传统 seq2seq 翻译与摘要强 | 参数利用率偏低;不适合超长上下文统一对话推理 |
| Prefix-LM | UniLM, GLM-130B, PaLM-2 | 前缀双向 + 后缀因果 | 前缀条件自回归 | 兼顾输入端双向理解与输出端自回归生成 | 前缀边界不固定时难以复用 KV Cache;规模化收益弱于纯因果 |
| Decoder-Only | GPT-4, LLaMA-3, Qwen, DeepSeek | 严格下三角因果掩码 | 下一词元预测(CLM) | 统一所有任务、涌现上下文学习、KV Cache 友好、缩放效率高 | 单向注意力在纯理解嵌入任务上需后处理(如对比微调) |
核心 PyTorch 参考实现
下面给出一个完整可运行的现代 Decoder-Only Transformer(Pre-RMSNorm + 简化 RoPE + Causal Attention + SwiGLU)最小骨架实现:
python
import math
import torch
import torch.nn as nn
import torch.nn.functional as F
class RMSNorm(nn.Module):
def __init__(self, dim: int, eps: float = 1e-6):
super().__init__()
self.eps = eps
self.weight = nn.Parameter(torch.ones(dim))
def forward(self, x: torch.Tensor) -> torch.Tensor:
# x: [B, N, d]
rms = torch.rsqrt(x.pow(2).mean(dim=-1, keepdim=True) + self.eps)
return x * rms * self.weight
class SwiGLUFFN(nn.Module):
def __init__(self, dim: int, hidden_dim: int):
super().__init__()
self.w_gate = nn.Linear(dim, hidden_dim, bias=False)
self.w_up = nn.Linear(dim, hidden_dim, bias=False)
self.w_down = nn.Linear(hidden_dim, dim, bias=False)
def forward(self, x: torch.Tensor) -> torch.Tensor:
# x: [B, N, d] -> [B, N, hidden_dim] -> [B, N, d]
return self.w_down(F.silu(self.w_gate(x)) * self.w_up(x))
class CausalSelfAttention(nn.Module):
def __init__(self, dim: int, n_heads: int):
super().__init__()
assert dim % n_heads == 0
self.n_heads = n_heads
self.head_dim = dim // n_heads
self.wqkv = nn.Linear(dim, 3 * dim, bias=False)
self.wo = nn.Linear(dim, dim, bias=False)
def forward(self, x: torch.Tensor) -> torch.Tensor:
B, N, D = x.shape
qkv = self.wqkv(x) # [B, N, 3D]
q, k, v = qkv.chunk(3, dim=-1)
# 重塑为多头形状: [B, H, N, d_h]
q = q.view(B, N, self.n_heads, self.head_dim).transpose(1, 2)
k = k.view(B, N, self.n_heads, self.head_dim).transpose(1, 2)
v = v.view(B, N, self.n_heads, self.head_dim).transpose(1, 2)
# 使用 PyTorch 内置 SDPA(自动调度 FlashAttention + 因果掩码)
out = F.scaled_dot_product_attention(q, k, v, is_causal=True) # [B, H, N, d_h]
out = out.transpose(1, 2).contiguous().view(B, N, D) # [B, N, D]
return self.wo(out)
class ModernTransformerBlock(nn.Module):
def __init__(self, dim: int, n_heads: int, ffn_dim: int):
super().__init__()
self.norm1 = RMSNorm(dim)
self.attn = CausalSelfAttention(dim, n_heads)
self.norm2 = RMSNorm(dim)
self.ffn = SwiGLUFFN(dim, ffn_dim)
def forward(self, x: torch.Tensor) -> torch.Tensor:
x = x + self.attn(self.norm1(x))
x = x + self.ffn(self.norm2(x))
return x
class MiniDecoderLM(nn.Module):
def __init__(self, vocab_size: int, dim: int = 512, n_layers: int = 6, n_heads: int = 8):
super().__init__()
# SwiGLU 维度按 8/3 * d 对齐并取 64 的倍数以适配 Tensor Core
ffn_dim = int(2 * (4 * dim) / 3)
ffn_dim = 64 * ((ffn_dim + 63) // 64)
self.tok_emb = nn.Embedding(vocab_size, dim)
self.layers = nn.ModuleList(
[ModernTransformerBlock(dim, n_heads, ffn_dim) for _ in range(n_layers)]
)
self.final_norm = RMSNorm(dim)
self.lm_head = nn.Linear(dim, vocab_size, bias=False)
def forward(self, input_ids: torch.Tensor) -> torch.Tensor:
# input_ids: [B, N] -> logits: [B, N, V]
x = self.tok_emb(input_ids)
for layer in self.layers:
x = layer(x)
return self.lm_head(self.final_norm(x))
if __name__ == "__main__":
model = MiniDecoderLM(vocab_size=32000, dim=512, n_layers=6, n_heads=8)
ids = torch.randint(0, 32000, (2, 128))
logits = model(ids)
print("Logits shape:", logits.shape) # [2, 128, 32000]
print("Total params:", sum(p.numel() for p in model.parameters()))工程实践与常见陷阱
工程实践
- 硬件维度对齐:设计隐藏维度
、头维度 、FFN 维度 以及词表大小 时,应尽量取 64 或 128 的整数倍(如将 vocab_size从 50257 补齐至 50304),以充分命中 NVIDIA GPU Tensor Core 的矩阵分块指令,获得 10%~20% 的免费吞吐提升。 - 深宽比(Aspect Ratio)权衡:在固定参数量下,深而窄(大
、小 )有利于推理链与组合泛化,但延迟受限于串行层数;宽而浅(小 、大 )利于张量并行与推理吞吐。现代 7B~70B 模型通常将 控制在 之间。 - 移除线性层偏置(Bias):LLaMA、PaLM、DeepSeek 等现代架构普遍移除了 QKV、O 与 FFN 线性层的偏置项,既略微减少显存访问,又提升了大规模预训练的数值稳定性(Qwen 系列保留 QKV 偏置以增强长度外推能力)。
常见陷阱
- 忽视长序列下的注意力二次项:使用
估算算力时容易忽略 项。当上下文长度 达到 32K~128K(即 )时,注意力矩阵计算将反超线性投影成为绝对算力瓶颈。 - 输出层与嵌入层初始化尺度失配:若残差分支输出层(
和 )未按 进行方差缩放,深层网络在训练初期的激活方差会随层数线性膨胀,诱发 Loss Spike。 - 错误套用 Encoder-Only 掩码逻辑:在因果解码器中,哪怕微小的掩码偏移错误(如允许位置
看到 )都会导致训练损失迅速趋近于零、但推理生成完全崩溃的“信息泄漏(Data Leakage)”故障。
延伸阅读与参考论文
- 原始架构:Vaswani et al., Attention Is All You Need, NeurIPS 2017 (arXiv:1706.03762 ↗).
- Encoder-Only 里程碑:Devlin et al., BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, NAACL 2019 (arXiv:1810.04805 ↗).
- Encoder-Decoder 统一范式:Raffel et al., Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer (T5), JMLR 2020 (arXiv:1910.10683 ↗).
- Decoder-Only 架构收敛分析:Wang et al., What Language Model Architecture and Pretraining Objective Work Best for Zero-Shot Generalization?, ICML 2022 (arXiv:2204.05832 ↗).
- 现代开源标准块:Touvron et al., LLaMA: Open and Efficient Foundation Language Models, 2023 (arXiv:2302.13971 ↗); Grattafiori et al., The Llama 3 Herd of Models, 2024 (arXiv:2407.21783 ↗).