外观
概念定义 · 什么是反向传播与梯度?
反向传播(Backpropagation) 是神经网络学会纠错的核心机制。模型猜错下一个词后,会算出一个“误差分数(Loss)”;反向传播沿着前向计算的每一步倒推回去,用微积分链式法则算出每一个参数该往大调还是往小调、调动一点点对误差影响有多大——这个“调整方向与敏感度”就是 梯度(Gradient)。
没有反向传播,大模型里几百亿个权重就不知道谁该为这次答错背锅;而梯度消失或爆炸,则意味着“纠错信号”在几十层网络里传着传着要么衰减成零、要么炸成无穷大。
01 几百亿个旋钮,模型怎么知道每个该往哪拧?
训练一个大语言模型,就像面对一面装了 700 亿个微调旋钮的巨型控制台,而你面前只有一个总仪表盘——标量 交叉熵损失
笨办法是“控制变量法”(有限差分):每次只拨动 1 个旋钮,跑一遍完整模型看误差变化。700 亿个旋钮就得跑 700 亿遍前向传播,地球毁灭都更新不完一步。
1986 年 Rumelhart、Hinton 与 Williams 在 Nature 发表的经典论文(DOI:10.1038/323533a0 ↗)普及了 反向传播(Backpropagation),它在计算上的真身是 反向模式自动微分(VJP)(Baydin et al., 2018 ↗)。只要跑 1 次前向 + 1 次从终点倒推回起点的反向遍历,就能把 700 亿个旋钮该往哪拧一次性全算出来,总开销不过是前向的 2 倍!
类比 · 百人流水线的精准追责
想象一条 100 道工序的汽车装配线,最后质检发现车身偏左了 2 厘米。与其让第 1 道到第 100 道工序的工人轮流试改再整车重造 100 遍,不如让质检员站在终点,把“偏左 2 厘米”的纠偏指令传给第 100 号工人;第 100 号根据自己的动作换算出“我要改多少、以及第 99 号该背多少锅”,再传给第 99 号……一路倒推回第 1 号,走一遍回头路,所有人同时拿到自己的精确整改单。
核心设问
算出梯度只是入场券。当网络堆到 80 层、宽度拉到上万维时,为什么信号在“倒推传话”的路上动不动就消失成 0 或炸成 NaN?我们又该如何给几百亿个参数选好起点(初始化),甚至让“小模型调好的学习率”无缝搬到大模型?
02 核心直觉:传话麦克风增益与“风洞缩尺模型”
直觉一:麦克风增益——梯度消失、爆炸与方差保持
反向传播沿着百层网络倒传纠偏指令,本质上是把每一层的局部导数(雅可比矩阵)一路连乘起来。这就像一场百人接力传话,每个人手里都握着一个带增益旋钮的麦克风:
类比 · 百人接力的麦克风调音
- 如果每个人的麦克风增益只有 0.8(比如早期用 Sigmoid 激活或初始权重太小),话传过 50 个人就衰减成
——浅层参数彻底听不到终点的纠偏信号,陷入 梯度消失。 - 如果每个人的增益是 1.2(初始权重偏大),话传过 50 个人就放大成
倍——声波瞬间变成刺耳啸叫,数值冲破浮点数上限变成 NaN,这就是 梯度爆炸。 - 好的初始化(Xavier, 2010 ↗、Kaiming, 2015 ↗)就像开场前的专业调音师:把每层权重的初始方差精准设成与输入维度
成反比,让信号每过一层既不缩小也不放大,能量恒定在 1 附近。
到了深层 Transformer,每层还有注意力与前馈两条支路源源不断往主干加信号,如果不加抑制,
类比 · 为什么反向传播如此吃显存?
很多人以为训练比推理多花显存只是因为多了梯度和优化器,其实真正的显存大户是 中间激活值(Activations)。在流水线追责的类比里,第 50 号工人要想算出自己螺丝拧偏了多少,必须清楚记得刚才前向加工时“递到自己手里的那块零件长什么样”。如果模型有 80 层、上下文长达 32K,把 80 层所有零件拍照存进显存,瞬间就能把 80GB 显卡撑爆——这也是为什么长文本训练离不开“边忘边重算”的 激活检查点。
直觉二: ——让小模型变成大模型的“物理风洞”
训练百亿大模型最烧钱的痛苦之一是调参:你在 1 亿参数小模型上花几百块钱试出最优学习率是 3e-3,可一旦把模型加宽 10 倍,最优学习率突然漂移成了 2e-4,小模型的经验全废了。
Yang 等人在 Tensor Programs V (
类比 · 飞机的风洞缩尺实验
造波音大飞机前,工程师会先按流体力学相似律造一架 1:20 的模型放进风洞吹——并不是把所有零件简单缩小 20 倍,而是质量、风速、翼展各有各的缩放幂次。
03 把关键公式读成人话
先看大模型里出现频率最高的线性层
**把矩阵反向求导读成直觉:**这里带横杠的
- 算
:拿上游整改单乘以权重的转置,把责任继续往上一层传递(消耗 FLOPs)。 - 算
:拿前向存下来的输入激活 去和上游整改单做乘积,算出当前权重自己该改多少(再消耗 FLOPs)。 注意第二个式子!正是因为算 必须用到前向时的 ,GPU 才不得不在前向传播时把几十层的中间激活死死攒在显存里——这直接解释了为什么训练大模型比推理吃显存得多。
再看决定深层网络生死的两条尺度公式——雅可比连乘与方差保持:
**把方差保持读成直觉:**第一条式子说明:只要每层平均缩放因子
再补上深层 Transformer 专用的残差深度缩放公式:
**把残差深度缩放读成直觉:**一个 o_proj、down_proj)的标准差除以
04 它在模型里怎么工作 & 与上下游的关系
反向传播与初始化是串联“数学理论”与“训练稳定工程”的中枢:
- 上下游计算链条:它的底层运算完全依赖 张量矩阵乘法,反向的起点是顶层的 交叉熵损失,算出的梯度立刻交付给 AdamW 等优化器 去真正更新参数,并配合 学习率调度 掌控收敛节奏。
- 架构级保护伞:单靠初始化只能保证训练第 0 步稳定;真正让百层网络在几十万步里始终不崩的,是与它搭档的 残差连接(把雅可比变成
,给梯度修了一条直达底层的高速公路)和 LayerNorm / RMSNorm(每走一步把信号重新拉回标准音量)。 - 系统级显存与精度联动:因为反向算
必须保留前向激活 ,才催生了“前向扔掉激活、反向临时重算”的 激活检查点显存优化;而在 混合精度训练(BF16/FP16) 中,微小梯度容易在低精度下被四舍五入归零,必须依赖 FP32 主权重或 Loss Scaling 保驾护航。
05 初始化演进对比与三个避坑备忘
| 方案 | 核心缩放法则 | 解决的痛点 | 典型场景 |
|---|---|---|---|
| Xavier / Glorot | 维持对称激活的前后向方差 | 早期 MLP、Tanh / 线性层 | |
| Kaiming / He | 补偿 ReLU 截断负半轴损失的一半方差 | ResNet、视觉骨干网络 | |
| GPT-2 残差缩放 | 残差输出投影 | 抑制 | GPT-2/3、LLaMA、主流 LLM |
| 隐藏层方差与学习率均 | 消除最优学习率随宽度漂移,支持零样本迁移 | MiniCPM、超宽大模型研究 |
- 永远系好“梯度裁剪”安全带:大模型预训练哪怕初始化再完美,偶尔撞上一条脏数据或注意力尖峰也会引发瞬时梯度核爆;全局 L2 范数裁剪(通常
max_norm = 1.0)能瞬间削平尖峰,防止把优化器的动量历史彻底污染。 - 小心 PyTorch 的默认梯度累加与原地修改:每次
.backward()都会往.grad上累加而非覆盖,忘了调optimizer.zero_grad(set_to_none=True)会让梯度越滚越大;同时绝不要对参与计算图的激活张量做原地操作(如x += 1),否则反向重读旧值时会立刻报错。 - 落地的
别漏改注意力缩放:很多人照着抄 却发现最优学习率还是漂了,十有八九是忘了把自注意力里的 改成 ,或者没对输出头施加 缩放。
需要查阅完整雅可比矩阵微分推导、动态等距分析以及手写
torch.autograd.Function线性层 VJP 与gradcheck校验代码?按快捷键M或点击顶部技术 Wiki即可随时切换。
反向传播(Backpropagation)是训练现代神经网络的引擎,其在数值计算上的本质是反向模式自动微分(Reverse-Mode Automatic Differentiation)。然而,仅仅能够算出精确梯度并不足以让数十亿参数的深层 Transformer 成功收敛:若信号在前向传播中逐层放大或衰减,或在反向传播中因连乘雅可比矩阵而发生梯度爆炸与梯度消失,训练将在数步内崩溃。因此,理解反向传播的数学机制与 Xavier、Kaiming 乃至大语言模型时代的
直观理解
把百层神经网络想象成一场百人接力传话游戏:前向传播把原始信息一路传到终点算出误差;反向传播(VJP) 则沿着原路把“该怎么改”的纠偏指令逐级传回每个参与者;而权重初始化就是给每个人的麦克风提前调好恰当的增益——增益小于
问题动机与演进背景
对拥有
- 若使用有限差分法逐参数扰动估算梯度,需要做
次前向传播,对百亿参数模型完全不可行; - 若使用前向模式自动微分(JVP),单次遍历只能计算损失对
个输入参数的导数,同样需要 次遍历; - 而反向模式自动微分(VJP) 利用输出维度
的极端不对称性,只需一次前向构建计算图 + 一次反向遍历,即可在 倍前向开销内同时求得损失对全部 个参数的精确梯度。
另一方面,早期深度网络往往难以超过十余层,根源在于初始化方差未随网络宽度和深度正确缩放。从适用于对称饱和激活的 Xavier 初始化,到适配 ReLU 家族的 Kaiming 初始化,再到 GPT-2 的残差深度缩放与支持超参数跨规模零样本迁移的
核心原理与数学推导
1. 反向模式自动微分与向量-雅可比积(VJP)
设网络由复合函数
根据多元链式法则,从第
反向传播无需显式构造庞大的完整雅可比矩阵
以大模型中最核心的矩阵乘法
由此立即得到无须构造四阶张量的简洁矩阵求导法则:
注意计算
2. 梯度消失/爆炸与雅可比奇异值分析
将反向递推展开至输入层:
对于无残差连接的纯堆叠线性层
- 若
(例如 Sigmoid 导数最大仅 ),则 ,引发梯度消失(Vanishing Gradient),浅层参数几乎停滞; - 若
,则 ,引发梯度爆炸(Exploding Gradient),参数更新溢出为 NaN。
理想的状态称为动态等距(Dynamical Isometry)——令整体输入-输出雅可比矩阵的所有奇异值尽可能聚集在
3. 方差保持原则:Xavier、Kaiming 与残差缩放
考察单层线性变换
同理,反向传播中梯度方差满足
- Xavier / Glorot 初始化(适用于线性或 Tanh 激活):折中前后向维度,取
- Kaiming / He 初始化(适用于 ReLU 激活):ReLU 截断负半轴使方差减半,故需额外乘以增益系数
: - GPT-2 / Transformer 残差深度缩放:
层 Transformer 含有 个残差支路(每层 1 个 Attention + 1 个 FFN),若每个支路输出方差为 ,叠加到残差流后总方差将增长为 。因此对每个残差块的最后一层输出投影权重( W_O与W_down)额外乘以:
4. Maximal Update Parametrization( )
在标准参数化(SP)下,随着模型宽度
- 输入层(Embedding):初始化方差
,Adam 学习率 ; - 隐藏层矩阵(QKV/O/FFN):初始化方差
,Adam 学习率 ; - 输出层(LM Head):初始化方差
(或采用 缩放输出 logits),Adam 学习率 ; - 注意力缩放:将传统
改为 ,防止宽模型注意力 logits 随宽度发散。
在
算法架构 / 数据流图
图表加载中...
复杂度与横向对比表
| 初始化 / 参数化方案 | 权重方差 | 适用激活 / 结构 | 深宽扩展稳定性 | 典型代表模型 |
|---|---|---|---|---|
| Xavier / Glorot | 线性、Tanh、Sigmoid | 仅维持前向/反向静态方差 | 早期 MLP / BERT 线性层 | |
| Kaiming / He | ReLU / LeakyReLU | 适配非对称截断激活 | ResNet、视觉骨干网络 | |
| GPT-2 残差缩放 | 基础 | Pre-Norm Transformer | 抑制随深度 | GPT-2 / GPT-3 / LLaMA 系列 |
| 隐藏层 | 超宽深层 Transformer | 支持学习率等超参跨宽度零样本迁移 | Cerebras-GPT、MiniCPM、Qwen 部分实验 |
核心 PyTorch 参考实现
python
import math
import torch
import torch.nn as nn
class ManualLinearFunction(torch.autograd.Function):
"""手写线性层 Y = X W^T + b 的前向与反向 VJP 实现,验证矩阵求导。"""
@staticmethod
def forward(ctx, x: torch.Tensor, weight: torch.Tensor, bias: torch.Tensor):
# x: [B, d_in], weight: [d_out, d_in], bias: [d_out]
ctx.save_for_backward(x, weight)
return x @ weight.t() + bias # [B, d_out]
@staticmethod
def backward(ctx, grad_output: torch.Tensor):
# grad_output (dL/dY): [B, d_out]
x, weight = ctx.saved_tensors
grad_x = grad_output @ weight # [B, d_out] @ [d_out, d_in] -> [B, d_in]
grad_weight = grad_output.t() @ x # [d_out, B] @ [B, d_in] -> [d_out, d_in]
grad_bias = grad_output.sum(dim=0) # [d_out]
return grad_x, grad_weight, grad_bias
def init_transformer_weights(module: nn.Module, num_layers: int, base_std: float = 0.02) -> None:
"""GPT-2 / LLaMA 风格的 Transformer 权重初始化(含残差投影深度缩放)。"""
for name, m in module.named_modules():
if isinstance(m, nn.Linear):
# 识别残差支路末端的输出投影(如 o_proj, down_proj)
if name.endswith(("o_proj", "down_proj", "c_proj")):
std = base_std / math.sqrt(2.0 * num_layers)
else:
std = base_std
nn.init.normal_(m.weight, mean=0.0, std=std)
if m.bias is not None:
nn.init.zeros_(m.bias)
elif isinstance(m, nn.Embedding):
nn.init.normal_(m.weight, mean=0.0, std=base_std)
def check_jacobian_singular_values(depth: int, width: int, init_scale: float) -> tuple[float, float]:
"""统计深层线性网络复合雅可比矩阵的最大/最小奇异值。"""
prod = torch.eye(width)
for _ in range(depth):
w = torch.randn(width, width) * (init_scale / math.sqrt(width))
prod = w @ prod
svals = torch.linalg.svdvals(prod)
return svals[0].item(), svals[-1].item()
if __name__ == "__main__":
torch.manual_seed(42)
x = torch.randn(4, 8, dtype=torch.double, requires_grad=True)
w = torch.randn(6, 8, dtype=torch.double, requires_grad=True)
b = torch.randn(6, dtype=torch.double, requires_grad=True)
# 使用 PyTorch 数值差分 gradcheck 验证手写 VJP 正确性
assert torch.autograd.gradcheck(ManualLinearFunction.apply, (x, w, b), eps=1e-6)
print("ManualLinearFunction VJP 梯度数值检验通过!")
for scale in (0.8, 1.0, 1.2):
s_max, s_min = check_jacobian_singular_values(depth=20, width=64, init_scale=scale)
print(f"depth=20, init_scale={scale}: sigma_max={s_max:.3e}, sigma_min={s_min:.3e}")工程实践与常见陷阱
工程实践
- 梯度裁剪(Gradient Clipping)必备:在 LLM 预训练中几乎总是启用全局 L2 范数裁剪(如
max_norm = 1.0),用于截断异常数据批次或注意力尖峰引发的瞬时梯度爆炸,保护 Adam 二阶矩状态不被污染。 - 监控逐层梯度范数与更新比:健康训练中,每层参数更新量与参数范数之比
通常稳定在 量级;若浅层与深层梯度范数相差多个数量级,往往意味着归一化或初始化缩放失衡。 - 验证自定义算子反向传播:编写自定义
torch.autograd.Function或 Triton 反向内核时,务必在float64精度下运行torch.autograd.gradcheck做有限差分校验。
常见陷阱
- 忘记清零梯度与原地修改(In-place Op)报错:PyTorch 默认将每次
.backward()算出的梯度累加到.grad上(用于梯度累积);若未在优化步后调用optimizer.zero_grad(set_to_none=True),梯度会无限叠加。同时,原地修改参与反向计算图的缓存张量会触发RuntimeError: one of the variables needed for gradient computation has been modified by an inplace operation。 - BF16 下的微小梯度下溢:在 混合精度训练 中,BF16 虽与 FP32 指数位相同不易上溢,但尾数仅 7 位。若直接用 BF16 存放主权重或累加极小梯度,更新可能被舍入为零;工程中必须保留 FP32 主权重(Master Weights)或在优化器状态中做高精度累积。
迁移时遗漏 Attention 缩放或权重衰减:实践 时,若只改了学习率缩放而忘记将注意力分数从 改为 ,或者未按宽度同步调整独立权重衰减(Independent Weight Decay),跨规模最优学习率仍会发生偏移。
延伸阅读与参考论文
- Rumelhart, D. E., Hinton, G. E., & Williams, R. J. (1986). Learning representations by back-propagating errors. Nature 323, 533–536. DOI:10.1038/323533a0 ↗
- Baydin, A. G., et al. (2018). Automatic Differentiation in Machine Learning: a Survey. JMLR. arXiv:1502.05767 ↗
- Glorot, X., & Bengio, Y. (2010). Understanding the difficulty of training deep feedforward neural networks. AISTATS. PMLR v9 ↗
- He, K., et al. (2015). Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification. ICCV. arXiv:1502.01852 ↗
- Yang, G., et al. (2022). Tensor Programs V: Tuning Large Neural Networks via Zero-Shot Hyperparameter Transfer. ICLR 2022. arXiv:2203.03466 ↗