Skip to content

Transformer 宏观拓扑与演进

解析 Transformer 从原始编解码器到现代 LLaMA 与 DeepSeek 仅解码器主干的拓扑演进与算力账本。

当前:讲解模式 — 侧重直觉建立、生活类比与分步拆解快捷键 M 切换
概念定义 · 什么是 Transformer 架构?

Transformer 是当今几乎所有大语言模型(GPT、Claude、Gemini、LLaMA、DeepSeek、Qwen)共同的底层神经网络骨架。在它出现之前,处理文字靠 RNN 逐字接力,既慢又容易忘掉前文;Transformer 彻底抛弃循环结构,用 「自注意力(负责词与词之间全局沟通)」+「前馈网络(负责每个词独立消化知识)」+「残差与归一化(负责稳住深层信号)」 搭出标准积木块,把这种积木块垂直堆叠几十上百层,就成了现代大模型。

01 问题从何而来:为什么 RNN 撑不起大语言模型? ​

在 2017 年 Transformer(Vaswani et al., 2017)↗ 诞生之前,处理文字序列的老大是循环神经网络(RNN / LSTM)。它的工作方式非常符合人类直觉——从左到右一个字一个字往下读,手里攥着一个不断更新的“记忆小本本”(隐状态 ht)。

可一旦我们想把模型做大、喂给它上万亿字语料,这套办法立刻撞上了两堵死墙:第一,不能并行,算第 100 个字必须干等第 99 个字算完,几千块 GPU 买回来只能干瞪眼;第二,记不住长距离,一句话开头的主语要跨越几百步传到结尾,就像玩“传话游戏”,传到后面早就面目全非。

类比 · 传话游戏 vs. 圆桌会议

RNN 像一排单列纵队玩传话游戏:第一个人看完纸条,悄悄说给第二个人,一路传到队尾。不仅排队耗时极长,传到第 50 个人时,“猫追老鼠”可能早就传成了“狗咬耗子”。

Transformer 干脆把队伍拆掉,请所有人坐进同一间圆桌会议室:每个词元直接坐在桌旁,一抬头就能同时看到桌上所有其他词元,一步到位直接对话(最大路径长度从 O(N) 骤降到 O(1)),而且整张圆桌的交流可以一次性打包成 GPU 最拿手的矩阵乘法并行算完。

核心设问

如果彻底抛弃“一步一步串行读”的循环结构,只靠全局并行交互和逐词加工,能不能同时做到训练吃满千卡算力、长距离信息无损直达,还能统一翻译、写作、编程、推理等几乎所有语言任务?

02 核心直觉:一条不断精炼语义的双工位流水线 ​

很多人初学 Transformer 会被密密麻麻的方框图吓到,其实把一整座百层大模型拆开,里面无非是把同一个标准模块像乐高积木一样重复堆叠 L 层。每一层只干两件事:

类比 · 杂志编辑部的“双工位流水线”

把一段输入文本想象成一叠正在改稿的稿件,顺着一条主传送带(残差流)穿过几十层编辑部。每一层只有两个工位:

  1. 沟通工位(自注意力机制):让稿件里的每个词元互相串门、搬运上下文信息。比如句子里的“它”跑去向前面十个词打听一圈,终于搞清楚“它”指代的是“那只橘猫”,把这份线索带回自己座位。
  2. 思考工位(前馈网络 FFN / SwiGLU):所有词元回到各自工位关起门来独立消化。此时不跟别人交流,而是拿着刚收集到的上下文去翻自己脑子里的“百科知识库”——比如把“法国 + 首都”映射到“巴黎”,再把思考增量写回主传送带。

浅层工位负责拼词法、理顺主谓宾;中层工位负责理清指代、调取常识;顶层工位则把所有线索汇总成精准的下一个词预测。

至于为什么今天的通用大模型(GPT-4、LLaMA-3、Qwen、DeepSeek)几乎全部收敛到了 Decoder-Only 架构,而不是 2017 年原版的 Encoder-Decoder 或 BERT(2019)↗ 的 Encoder-Only?

直觉上也很简单:Encoder-Only 像只练“完形填空”的做题家,理解很强但不会顺着往下写;Encoder-Decoder 像把“阅读”和“写作”硬拆成两间办公室,跨办公室传纸条结构冗余;而 Decoder-Only 只保留一个带因果掩码的解码器,把翻译、问答、写代码全部统一成同一件事——给定前文,续写下一个词。每个词元都在参与预测监督,训练效率极高,还天然适配推理期的 KV Cache 复用。

03 把关键公式读成人话 ​

现代 LLaMA / DeepSeek 风格的单个 Transformer 块,可以浓缩成两行极度凝练的公式:

H(l)=X(l)+Attention(RMSNorm(X(l)),RoPE)X(l+1)=H(l)+FFNSwiGLU(RMSNorm(H(l)))

**把公式读成直觉:**把 X(l) 看成传送带上第 l 层的状态,你会发现每一步都严格遵守 “先稳住音量 → 再干活 → 最后做增量相加” 的节奏:先用 RMSNorm 把输入信号拉回标准尺度,接着送进带 RoPE 位置编码 的注意力层搬运上下文,结果并不覆盖原传送带,而是用 + 号叠加上去;紧接着再用同样的方式过一遍 SwiGLU FFN 补上非线性思考,得到下一层状态 X(l+1)。

另一条每个大模型工程师都背得滚瓜烂熟的“算力账本公式”,揭示了训练一座模型到底要花多少钱:

Nnon-emb≈12Ld2,Ctrain≈6NparamD

12 和 6 这两个神奇常数从哪来?:- 12Ld2:每层注意力 4 个矩阵(WQ,WK,WV,WO)约占 4d2,而 FFN 占了 8d2(整整占去三分之二参数!),合起来每层正好 12d2,乘以层数 L 就是主体参数量。

  • 6ND:一次矩阵乘加(乘一次加一次)算 2 次浮点运算(FLOPs),所以推理每生成一个词元大约花 2N 次运算;而训练时既要算前向传播(2N),又要算反向传播对输入和权重的两份梯度(4N),加起来正好是每个训练词元花 6N FLOPs,乘以总训练词元数 D 就是整次训练的总算力账单(详见 缩放定律)。

04 它在模型里怎么工作 & 与上下游的关系 ​

从整条端到端链路看,Transformer 主干稳居最核心的中枢位置:

05 演化对比:三条宏观拓扑为何终局合一? ​

2017 年之后,社区曾分化出三条风格迥异的 Transformer 路线:

  • Encoder-Only(BERT, 2019 ↗):双向全可见,像做完形填空,擅长分类、检索向量提取,但不会原生自回归续写。
  • Encoder-Decoder(T5, 2020 ↗):编码器双向读原文,解码器单向写译文,传统翻译和摘要很强,但跨结构衔接在通用对话与长上下文下显得笨重。
  • Decoder-Only(GPT / Llama 3, 2024 ↗ / DeepSeek):单一因果栈走天下,每个词元都参与监督、天然涌现上下文学习(In-Context Learning)并无缝复用 KV Cache,最终一统通用大模型江湖。

从 2017 年原版走到今天的现代标准块,内部组件也经历了全面换血:

对比维度2017 原始 Transformer现代主流 LLM(LLaMA-3 / DeepSeek)核心进化原因
宏观拓扑Encoder-DecoderDecoder-Only 因果栈统一一切任务,KV Cache 天然复用
归一化位置与算子Post-LayerNormPre-RMSNorm(或 Sandwich-Norm)百层深网免严苛预热,访存快 15%~30%
位置编码输入端加正弦波块内 Q,K 旋转 RoPE内积涌现相对位置,支持外推扩窗
注意力与前馈MHA + ReLU FFNGQA / MLA + SwiGLU / MoE压垮 KV 显存墙,提升单位参数知识密度

06 三个最容易踩的工程坑 ​

  1. 短序列估算公式别硬套超长上下文:6ND 忽略了注意力的二次项 4LN2d。当上下文飙升到 64K~128K 时,序列长度远超 6d,注意力打分将反超线性投影成为真正的算力大头。
  2. 维度不对齐白白浪费 15% 算力:词表大小 V、隐藏维度 d 和 FFN 中间维度 dff 尽量补齐到 64 或 128 的整数倍(比如把 50257 补到 50304),GPU Tensor Core 才能满血吃满矩阵分块指令。
  3. 因果掩码偏一格,训练就“作弊归零”:自回归训练中哪怕把上三角掩码错位一格,让第 t 个词偷看到第 t+1 个词,训练 Loss 会光速掉到接近 0,一到真实生成却满口胡话。

想查看精确的 FLOPs 与参数量推导、Encoder/Prefix/Decoder 完整对比表以及可运行的 MiniDecoderLM PyTorch 代码?按快捷键 M 或点击顶部 技术 Wiki 随时切换。

Transformer 是现代大语言模型(Large Language Models, LLM)的通用骨干架构。它彻底摒弃了循环神经网络(RNN/LSTM)沿时间步串行依赖的计算范式,也摆脱了卷积神经网络(CNN)局部感受野的局限,转而通过 自注意力(Self-Attention) 与 前馈网络(FFN) 的交替堆叠,实现了高度并行化的全局序列建模。从 2017 年的机器翻译模型起步,Transformer 历经三条拓扑分支的分化与收敛,最终确立了以 LLaMA、Qwen、DeepSeek 为代表的现代 Decoder-Only 范式。

直观理解

可以把 Transformer 想象成一条多工位的信息加工流水线(残差流):每一层包含两个核心工位——注意力模块负责让句子中不同位置的词元互相“交流沟通、搬运信息”,而前馈网络模块则让每个词元基于刚获取的上下文独立“深度思考、检索知识”。重复堆叠数十层后,浅层的词汇语法信息便逐步提炼为深层的逻辑与语义表征。

问题动机与演进背景 ​

在 Transformer 诞生之前,序列建模长期由 RNN(如 LSTM、GRU)主导。RNN 存在两个难以克服的瓶颈:

  1. 串行计算不可并行:时刻 t 的隐状态 ht 严格依赖 ht−1,导致训练阶段无法充分利用 GPU 的大规模矩阵并行算力,极大限制了语料与参数规模的扩展。
  2. 长程依赖梯度衰减:信息必须经过 O(N) 步状态传递才能跨越长度为 N 的序列,远距离词元间的路径过长,引发梯度消失与信息瓶颈。

2017 年 Vaswani 等人提出原始 Transformer(Encoder-Decoder 架构),将任意两个词元之间的最大交互路径缩短至 O(1)。随后,社区围绕不同任务需求分化出三大宏观拓扑:

  • Encoder-Only(如 BERT、RoBERTa):采用双向全可见注意力,擅长自然语言理解(分类、抽取、检索嵌入),但无法原生执行自回归文本生成。
  • Encoder-Decoder(如 T5、BART):编码器双向理解源序列,解码器单向自回归生成目标序列并通过交叉注意力(Cross-Attention)对齐两端,在翻译与摘要任务中表现优异,但在统一多任务和少样本上下文学习(In-Context Learning)上结构较为冗余。
  • Decoder-Only(如 GPT 系列、LLaMA、DeepSeek):仅保留带因果掩码(Causal Mask)的解码器栈。研究与大规模实践表明,Decoder-Only 拓扑在零样本泛化、长上下文推理、无监督续写统一所有 NLP 任务以及KV Cache 推理复用方面具备显著优势,且在同等参数量下每个词元都参与预测监督,训练样本效率更高,成为当今通用大模型的绝对主流。

核心原理与数学推导 ​

现代标准 Decoder-Only 块结构 ​

相较于 2017 年原版(Post-Norm + LayerNorm + 绝对正弦位置编码 + ReLU FFN),以 LLaMA-3 和 DeepSeek 为代表的现代 Transformer 块(Modern Transformer Block)完成了一系列深度改良:Pre-RMSNorm + RoPE + GQA/MLA + SwiGLU(或 MoE),并以 残差流 贯穿全网,辅以 KV Cache 与 FlashAttention 支撑高效推理。

设第 l 层输入隐状态为 X(l)∈RB×N×d(其中 B 为批大小,N 为序列长度,d 为隐藏维度 dmodel),单个标准块的前向递推公式为:

H(l)=X(l)+Attention(RMSNorm(X(l)),RoPE)X(l+1)=H(l)+FFNSwiGLU(RMSNorm(H(l)))

经过 L 层堆叠后,最终输出经过一次末端归一化与语言模型输出头(LM Head)映射为词表维度 V 的对数几率(Logits):

Z=RMSNorm(X(L))Whead⊤∈RB×N×V

其中 Whead∈RV×d 在小参数模型中常与输入词嵌入矩阵 Wemb 共享权重(Weight Tying),而在 7B 以上大模型中通常解耦以换取更强的表达能力。

参数量精确推导 ​

以标准稠密 Decoder-Only 模型(采用 MHA 与 SwiGLU,忽略微小的归一化缩放向量与偏置项)为例,设隐藏维度为 d,层数为 L,词表大小为 V,SwiGLU 中间维度为 dff=83d(使三矩阵门控 FFN 参数量与传统两矩阵 4d FFN 严格对齐):

  1. 注意力子层参数(WQ,WK,WV,WO∈Rd×d):Pattn=4d2若采用分组查询注意力(GQA),设查询头数为 nq、键值头数为 nkv,则 WK,WV∈Rd×(d⋅nkv/nq),此时 Pattn=2d2(1+nkvnq)。
  2. 前馈网络子层参数(Wgate,Wup∈Rd×dff,Wdown∈Rdff×d):Pffn=3d⋅dff≈8d2
  3. 总非嵌入参数量与全模型参数量:Nnon-emb=L⋅(Pattn+Pffn)≈12Ld2Ntotal≈12Ld2+2Vd(未权重共享)

前向与训练计算量(FLOPs)精确公式 ​

一次标量乘加(MAC)计为 2 次浮点运算(FLOPs)。对于单次矩阵乘法 (N×m)×(m×n),计算量为 2Nmn FLOPs。

处理长度为 N 的序列时,单个 Transformer 块的前向计算量包括:

  • 线性投影(QKV + O + FFN):每个参数在每个词元上参与一次乘加,贡献 2×12d2N=24Nd2 FLOPs。
  • 注意力得分与加权求和(QK⊤ 与 AV):两项均为 2N2d,合计 4N2d FLOPs(因果掩码在 FlashAttention 优化下可近似减半至 2N2d)。

因此,全模型单次前向传播(Forward)总 FLOPs 为:

Cfwd≈2N⋅Nnon-emb+4LN2d+2NVd≈24LNd2+4LN2d

在短序列(N≪6d)场景下,4LN2d 项可忽略,得出经典的估算结论:

  • 推理前向单词元算力:Cinfer≈2Nparam FLOPs/token。
  • 训练步算力(前向 1× + 反向对输入和权重求导 2×):Ctrain≈6NparamD其中 D 为训练总词元数(若开启激活重计算 Activation Checkpointing,反向需重算一次前向,系数升至约 8NparamD)。

算法架构与数据流图 ​

下图展示了现代 LLaMA/DeepSeek 风格 Decoder-Only Transformer 的宏观数据流与块内拓扑:

图表加载中...

复杂度与横向对比表 ​

拓扑架构代表模型注意力可见范围典型预训练目标核心优势主要局限
Encoder-OnlyBERT, RoBERTa, ModernBERT全双向可见掩码语言模型(MLM)双向上下文表征强,适合检索、分类、重排无法原生自回归生成;预训练与微调存在 <mask> 差异
Encoder-DecoderT5, BART, Flan-T5编码器双向 + 解码器因果 + 交叉注意力Span Corruption / 去噪重建源-目标解耦清晰,传统 seq2seq 翻译与摘要强参数利用率偏低;不适合超长上下文统一对话推理
Prefix-LMUniLM, GLM-130B, PaLM-2前缀双向 + 后缀因果前缀条件自回归兼顾输入端双向理解与输出端自回归生成前缀边界不固定时难以复用 KV Cache;规模化收益弱于纯因果
Decoder-OnlyGPT-4, LLaMA-3, Qwen, DeepSeek严格下三角因果掩码下一词元预测(CLM)统一所有任务、涌现上下文学习、KV Cache 友好、缩放效率高单向注意力在纯理解嵌入任务上需后处理(如对比微调)

核心 PyTorch 参考实现 ​

下面给出一个完整可运行的现代 Decoder-Only Transformer(Pre-RMSNorm + 简化 RoPE + Causal Attention + SwiGLU)最小骨架实现:

python
import math
import torch
import torch.nn as nn
import torch.nn.functional as F


class RMSNorm(nn.Module):
    def __init__(self, dim: int, eps: float = 1e-6):
        super().__init__()
        self.eps = eps
        self.weight = nn.Parameter(torch.ones(dim))

    def forward(self, x: torch.Tensor) -> torch.Tensor:
        # x: [B, N, d]
        rms = torch.rsqrt(x.pow(2).mean(dim=-1, keepdim=True) + self.eps)
        return x * rms * self.weight


class SwiGLUFFN(nn.Module):
    def __init__(self, dim: int, hidden_dim: int):
        super().__init__()
        self.w_gate = nn.Linear(dim, hidden_dim, bias=False)
        self.w_up = nn.Linear(dim, hidden_dim, bias=False)
        self.w_down = nn.Linear(hidden_dim, dim, bias=False)

    def forward(self, x: torch.Tensor) -> torch.Tensor:
        # x: [B, N, d] -> [B, N, hidden_dim] -> [B, N, d]
        return self.w_down(F.silu(self.w_gate(x)) * self.w_up(x))


class CausalSelfAttention(nn.Module):
    def __init__(self, dim: int, n_heads: int):
        super().__init__()
        assert dim % n_heads == 0
        self.n_heads = n_heads
        self.head_dim = dim // n_heads
        self.wqkv = nn.Linear(dim, 3 * dim, bias=False)
        self.wo = nn.Linear(dim, dim, bias=False)

    def forward(self, x: torch.Tensor) -> torch.Tensor:
        B, N, D = x.shape
        qkv = self.wqkv(x)  # [B, N, 3D]
        q, k, v = qkv.chunk(3, dim=-1)
        # 重塑为多头形状: [B, H, N, d_h]
        q = q.view(B, N, self.n_heads, self.head_dim).transpose(1, 2)
        k = k.view(B, N, self.n_heads, self.head_dim).transpose(1, 2)
        v = v.view(B, N, self.n_heads, self.head_dim).transpose(1, 2)

        # 使用 PyTorch 内置 SDPA(自动调度 FlashAttention + 因果掩码)
        out = F.scaled_dot_product_attention(q, k, v, is_causal=True)  # [B, H, N, d_h]
        out = out.transpose(1, 2).contiguous().view(B, N, D)  # [B, N, D]
        return self.wo(out)


class ModernTransformerBlock(nn.Module):
    def __init__(self, dim: int, n_heads: int, ffn_dim: int):
        super().__init__()
        self.norm1 = RMSNorm(dim)
        self.attn = CausalSelfAttention(dim, n_heads)
        self.norm2 = RMSNorm(dim)
        self.ffn = SwiGLUFFN(dim, ffn_dim)

    def forward(self, x: torch.Tensor) -> torch.Tensor:
        x = x + self.attn(self.norm1(x))
        x = x + self.ffn(self.norm2(x))
        return x


class MiniDecoderLM(nn.Module):
    def __init__(self, vocab_size: int, dim: int = 512, n_layers: int = 6, n_heads: int = 8):
        super().__init__()
        # SwiGLU 维度按 8/3 * d 对齐并取 64 的倍数以适配 Tensor Core
        ffn_dim = int(2 * (4 * dim) / 3)
        ffn_dim = 64 * ((ffn_dim + 63) // 64)

        self.tok_emb = nn.Embedding(vocab_size, dim)
        self.layers = nn.ModuleList(
            [ModernTransformerBlock(dim, n_heads, ffn_dim) for _ in range(n_layers)]
        )
        self.final_norm = RMSNorm(dim)
        self.lm_head = nn.Linear(dim, vocab_size, bias=False)

    def forward(self, input_ids: torch.Tensor) -> torch.Tensor:
        # input_ids: [B, N] -> logits: [B, N, V]
        x = self.tok_emb(input_ids)
        for layer in self.layers:
            x = layer(x)
        return self.lm_head(self.final_norm(x))


if __name__ == "__main__":
    model = MiniDecoderLM(vocab_size=32000, dim=512, n_layers=6, n_heads=8)
    ids = torch.randint(0, 32000, (2, 128))
    logits = model(ids)
    print("Logits shape:", logits.shape)  # [2, 128, 32000]
    print("Total params:", sum(p.numel() for p in model.parameters()))

工程实践与常见陷阱 ​

工程实践

  1. 硬件维度对齐:设计隐藏维度 d、头维度 dh、FFN 维度 dff 以及词表大小 V 时,应尽量取 64 或 128 的整数倍(如将 vocab_size 从 50257 补齐至 50304),以充分命中 NVIDIA GPU Tensor Core 的矩阵分块指令,获得 10%~20% 的免费吞吐提升。
  2. 深宽比(Aspect Ratio)权衡:在固定参数量下,深而窄(大 L、小 d)有利于推理链与组合泛化,但延迟受限于串行层数;宽而浅(小 L、大 d)利于张量并行与推理吞吐。现代 7B~70B 模型通常将 d/L 控制在 100∼160 之间。
  3. 移除线性层偏置(Bias):LLaMA、PaLM、DeepSeek 等现代架构普遍移除了 QKV、O 与 FFN 线性层的偏置项,既略微减少显存访问,又提升了大规模预训练的数值稳定性(Qwen 系列保留 QKV 偏置以增强长度外推能力)。

常见陷阱

  1. 忽视长序列下的注意力二次项:使用 6NparamD 估算算力时容易忽略 4LN2d 项。当上下文长度 N 达到 32K~128K(即 N≫6d)时,注意力矩阵计算将反超线性投影成为绝对算力瓶颈。
  2. 输出层与嵌入层初始化尺度失配:若残差分支输出层(WO 和 Wdown)未按 1/2L 进行方差缩放,深层网络在训练初期的激活方差会随层数线性膨胀,诱发 Loss Spike。
  3. 错误套用 Encoder-Only 掩码逻辑:在因果解码器中,哪怕微小的掩码偏移错误(如允许位置 t 看到 t+1)都会导致训练损失迅速趋近于零、但推理生成完全崩溃的“信息泄漏(Data Leakage)”故障。

延伸阅读与参考论文 ​

  • 原始架构:Vaswani et al., Attention Is All You Need, NeurIPS 2017 (arXiv:1706.03762 ↗).
  • Encoder-Only 里程碑:Devlin et al., BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, NAACL 2019 (arXiv:1810.04805 ↗).
  • Encoder-Decoder 统一范式:Raffel et al., Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer (T5), JMLR 2020 (arXiv:1910.10683 ↗).
  • Decoder-Only 架构收敛分析:Wang et al., What Language Model Architecture and Pretraining Objective Work Best for Zero-Shot Generalization?, ICML 2022 (arXiv:2204.05832 ↗).
  • 现代开源标准块:Touvron et al., LLaMA: Open and Efficient Foundation Language Models, 2023 (arXiv:2302.13971 ↗); Grattafiori et al., The Llama 3 Herd of Models, 2024 (arXiv:2407.21783 ↗).