外观
概念定义 · 什么是残差连接(Residual Connection)与残差流?
残差连接 写法极简——仅仅是把某一层的输入直接加回它的输出上:
你可以把整条
01 问题从何而来:为什么网络一加深,反而越训越差?
直觉上,50 层的神经网络哪怕把后面 30 层全部练成“什么也不干、原样传过去”,效果也至少该和 20 层打平才对。可 2015 年 ResNet(He et al., 2016)↗ 做实验时却撞见了怪事:不加跳跃连接时,56 层网络的训练误差竟然比 20 层还高!这叫退化问题(Degradation Problem)——深层非线性网络连最简单的“原样照搬(恒等映射)”都极难通过梯度下降学出来。
加上一条极其朴素的旁路相加
然而,当 Transformer 迈向几十层、上百层甚至上千层时,残差连接撞上了一个棘手的 “跷跷板困境”:
- 用 Post-Norm 残差:每层都在强力重塑表征、表达能力强,但超过二三十层就梯度失衡、极难收敛;
- 用 Pre-Norm 残差:堆到上百层都极其好训,可主干信号的方差一路线性膨胀,走到深层时,主干太粗壮,每一层新算出来的增量相比之下微乎其微,出现深层表征坍塌(Representation Collapse)——很多深层白白烧算力却几乎没改变特征方向。
类比 · 单车道高架桥的“拥堵困局”
把标准残差连接想象成一条贯通整栋 100 层大楼的单车道中央主干道(残差流)。每一层的 注意力 和 FFN 都是路边的小作坊:先从主干道抄一份资料下来加工,再把新成果汇回主干道。
开到第 80 层时,这条单车道里已经密密麻麻塞满了前面 79 层倒进来的海量历史信息(方差膨胀),新加入的第 80 层作坊哪怕拼尽全力,喊出来的声音也被喧嚣的车流彻底淹没了。
核心设问
能不能打破“稳定训练”与“深层强表达”之间的跷跷板?从把 Post-Norm 稳定推向 1000 层的 DeepNorm,到把单车道拓宽成多条立体车道的 Hyper-Connections(HC / mHC),研究者究竟动了什么手术?
02 核心直觉:从“公共黑板”到“多车道立体高架”
理解残差连接的现代演进,有三个层层递进的画面:
类比 · 画面一:残差流是一块所有层共用的“公共白板”
机制可解释性研究(Transformer Circuits, 2021 ↗)提出了一个改变认知的视角:不要把 Transformer 看成“第 1 层把结果交给第 2 层”,而要把它看成“所有层围着同一块公共白板(Residual Stream)交替读写”!
词嵌入先在白板写下初稿;第 2 层某个注意力头读完后,在白板右上角写下一条句法笔记;中间 10 层根本不碰右上角,直到第 13 层某个头直接从右上角把那条笔记读走!高维空间里不同子空间近似正交,这块白板就是整座大模型跨层通信的中央内存总线。
类比 · 画面二:DeepNorm——给千层大楼的主梁“加粗”,把挂件“减重”
微软提出的 DeepNet / DeepNorm(Wang et al., 2022)↗ 想把表达力极强的 Post-Norm 救活,而且直接推到 1000 层。思路非常工程力学:
Post-Norm 崩塌是因为深层单步更新幅度太大,把主干吹歪了。DeepNorm 只改两行代码:第一,残差相加前把主干
类比 · 画面三:Hyper-Connections(HC)与 mHC——把单车道升级成“守恒的多车道立体高架”
字节跳动的 Hyper-Connections(Zhu et al., 2024)↗ 换了更彻底的玩法:既然单条宽度为
每过一层,系统先按权重把 4 条车道的车流挑出精华汇聚成 1 路,送进常规的注意力或 FFN 加工(因此子层核心计算量 FLOPs 一点都没增加!),同时 4 条车道之间通过一个
可后来 DeepSeek mHC(2025)↗ 在超大规模训练中发现了无约束 HC 的隐患:几十层的混流矩阵
03 把关键公式读成人话
先看 DeepNorm 支撑千层训练的两行极简公式(对
**把公式读成直觉:**层数
再看 Hyper-Connections / mHC 的多流递推方程:
拆解三个微型控制阀,为什么算力几乎没涨?:-
(读取汇聚):把 条流加权融合成 1 条 维向量再送进子层 ,所以最耗算力的注意力和 FFN 依然只算 1 份,总 FLOPs 增加不到 1%; (流间变道):在 条车道之间重新混流分配;在 mHC 中,强制要求 是双随机矩阵(谱范数 且连乘封闭),保证跨过一百层后信号均值严格守恒、梯度永不失控; (写入分发):把子层算出的新知识按需分配写回各条车道。
04 它在模型里怎么工作 & 与上下游的关系
残差连接是整座 Transformer 的骨架,牵动训练稳定与系统通信:
- 与 归一化机制 生死相依:Pre-Norm、Post-Norm、Sandwich-Norm 与 DeepNorm 的本质,都是围绕“如何平衡残差主干与子层增量的相对尺度”展开的博弈。
- 与 反向传播 及 优化器 协同:即便用标准 Pre-Norm,GPT-2 与 LLaMA 也会把残差分支末端投影矩阵(
和 )的初始化标准差按 缩小,保证第 0 步时整条残差流总方差恒定,不随层数暴涨。 - 对 显存优化 与分布式系统的冲击:mHC 虽然几乎不增加浮点运算量,但把残差张量拓宽了
倍,意味着显存读写量和流水线阶段间的通信量都放大了 ——因此工业落地必须依赖定制融合 CUDA/Triton Kernel 与计算通信重叠。
05 演化对比:五代残差拓扑的权衡
把残差连接十年来的演进排在一起,能清楚看到一条主线:既要守住恒等映射带来的百层梯度直通,又要打破单条主干拥挤导致的深层表征坍塌:
| 残差架构 | 残差流宽度 | 额外 FLOPs | 深层训练稳定性 | 抗表征坍塌 | 代表模型 |
|---|---|---|---|---|---|
| Post-Norm 残差 | 差( | 强 | 原始 Transformer, BERT | ||
| Pre-Norm 残差 | 极强 | 弱(方差线性涨) | GPT-2/3, LLaMA, Qwen | ||
| DeepNorm | 可忽略 | 极强(千层验证) | 强 | DeepNet, ChatGLM-6B | |
| Dynamic HC | 中(超大规模易发散) | 极强 | Hyper-Connections | ||
| mHC(双随机流形) | 极强(谱范数 | 极强 | DeepSeek mHC |
06 三个最容易踩的工程坑
- DeepNorm 初始化缩放别误伤
:DeepNorm 的 缩小系数只应该施加在残差分支里的 和 FFN 权重上;如果手滑把 也乘了极小的 ,注意力打分一开始全退化成均匀平均,反而破坏早期梯度学习。 - 百亿级大模型切勿直接裸跑无约束 HC:不加流形约束的混流矩阵
在小模型上看似很稳,但一旦拉到百亿规模和万亿词元长训,连乘特征值漂移极易在中后期引发不可逆的梯度爆炸,必须引入 mHC 的 Sinkhorn 双随机约束。 - 多流架构首尾对齐别忘记:进第 1 层前,要把单流 Token Embedding 复制成
份构造多流状态;出最后一层进入 final_norm和LM Head之前,必须沿流维度求和或取均值归约回单流。
想查看 DeepNorm 闭式常数的严格推导、双随机流形 Birkhoff 多面体数学性质以及含 Sinkhorn-Knopp 迭代的
ManifoldHyperConnection代码?按快捷键M或点击顶部技术 Wiki随时切换。
残差连接(Residual Connections / Skip Connections) 是深度神经网络得以突破数十层迈向百层、千层规模的生命线。在 Transformer 中,残差连接不仅是一项防止 反向传播 梯度消失的工程技巧,更被机制可解释性学界视作贯穿整座模型的中央通信总线——残差流(Residual Stream)。近年,为克服传统单通道 Pre-Norm 残差存在的“深层表征坍塌”局限,研究者先后提出了支持千层稳定训练的 DeepNorm,以及打破单维加性瓶颈的 Hyper-Connections(HC) 与流形约束超连接 mHC(同时需配合 显存优化与算子融合 消化多流带宽开销)。
直观理解
可以把 Transformer 的残差连接想象成一条贯通整栋大楼的 “多车道中央高速主干道(残差流)”:每一层的注意力头和前馈网络就像路边的一个个工作站,它们先从主干道复制(读取)当前车流信息,加工出新的语义增量后再合并(写入)回主干道。传统残差只有一条单车道,越往高层走主干道越拥挤,新工作站的话语权越来越小;而 Hyper-Connections 则把单车道拓宽成多条可动态变道、按权重汇流的立体并行车道,让深浅层信息能够自由分流与重组。
问题动机与演进背景
2015 年 He 等人提出 ResNet 时,首次揭示了深层网络的核心障碍并非过拟合,而是退化问题(Degradation Problem):堆叠更多无跳跃连接的非线性层时,优化器甚至难以学会最简单的恒等映射
然而,当这一范式扩展到百层以上的大语言模型时,暴露出著名的跷跷板困境(Seesaw Dilemma):
- Post-Norm 残差(
):每层都在强制重塑主干表征,表达潜力高,但超过 20~30 层后梯度消失与更新量爆炸并行,极难收敛; - Pre-Norm 残差(
):千层都能稳定训练,但残差流方差随层数线性膨胀 ,导致深层相邻隐状态余弦相似度趋近于 (表征坍塌 Representation Collapse),许多深层模块沦为无效微扰。
为了同时打破“梯度不稳定”与“表征坍塌”的双重魔咒,学界衍生出三大里程碑视角与架构革新:残差流线性分解视角、DeepNorm 千层缩放理论以及 Hyper-Connections(HC / mHC)。
核心原理与数学推导
1. Transformer 残差流(Residual Stream)可解释性视角
Elhage 等人(2021)指出,标准 Pre-Norm Transformer 展开后的最终输出是词嵌入与所有历史层注意力、FFN 增量的纯线性叠加:
这一形式赋予了残差流极其深刻的代数含义:
- 通信带宽视角:残差流是一个维度为
的共享高维向量空间,所有层的所有注意力头和 FFN 共享这一“公共内存”;不同层之间通过近乎正交的子空间实现跨层通信(例如第 2 层写入的句法特征可直接跳过中间 10 层,被第 13 层的注意力头直接读取)。 - 虚拟集成视角:包含
个子层的残差网络展开后等价于 条不同深度路径的指数级集成,梯度主要流经较短与中等长度的有效路径。
2. DeepNorm:把 Post-Norm 稳定扩展到 1000 层
Wang 等人(DeepNet, Microsoft, 2022)通过定量分析单步 SGD 更新引起的模型输出变化量
DeepNorm 对 Post-Norm 仅做两处极简数学修正:
- 残差主干上缩放
(增强恒等分支权重,抑制主干剧烈漂移): - 初始化参数按
缩小(仅缩小注意力 与 FFN 权重初始化标准差):
通过推导使总更新量
(对于包含
凭此两行公式,DeepNet 首次成功将纯 Post-Norm Transformer 稳定扩展至 1000 层,且兼具 Post-Norm 强表达力与 Pre-Norm 高稳定性(被 ChatGLM-6B 等经典中文模型直接采用)。
3. Hyper-Connections(HC)与流形约束超连接(mHC)
2024 年字节跳动提出 Hyper-Connections(HC),跳出了标量残差缩放的框架:既然单条宽度为
在每一层,HC 引入三组轻量级可学习(并可结合输入动态调制)连接权重:
- 宽度混流矩阵(Width Connection)
:在 条并行残差流之间执行线性混合与信息交换; - 读取汇聚向量(Read-in)
:将 条流加权汇聚为单路 维向量送入当前层子模块 (因此子层计算量 FLOPs 完全不变!); - 写入分发向量(Write-out)
:将子层输出 按不同权重写回 条残差流。
HC 单层递推方程为:
当初始化为
流形约束超连接(mHC, Manifold-Constrained Hyper-Connections, DeepSeek, 2025): 尽管无约束 HC 在中小规模表现惊艳,但在超大规模深层训练中,连乘无约束混流矩阵
mHC 提出将每层的混流矩阵
在实现中,通过 Sinkhorn-Knopp 算法对
- 乘法封闭性:任意多层双随机矩阵连乘
依然是双随机矩阵; - 谱范数严格有界:
,从数学上彻底杜绝连乘引发的信号与梯度爆炸; - 均值严格守恒:多条并行流的整体特征质心在前向与反向传播中保持守恒,既恢复了恒等映射稳定性,又保留了多流信息路由的超强表达增益。
算法架构与数据流图
图表加载中...
复杂度与横向对比表
设层数为
| 残差架构 | 残差流宽度 | 额外 FLOPs 开销 | 深层稳定性 | 抗表征坍塌能力 | 代表模型 / 论文 |
|---|---|---|---|---|---|
| Post-Norm 残差 | 差( | 强 | 原始 Transformer, BERT | ||
| Pre-Norm 残差 | 极强 | 弱(方差线性增长) | GPT-2/3, LLaMA, Qwen | ||
| DeepNorm | 可忽略(常数乘 | 极强(验证达 1000 层) | 强 | DeepNet, ChatGLM-6B | |
| Dynamic HC | 极低( | 中等(超大规模连乘易发散) | 极强 | Hyper-Connections (ByteDance) | |
| mHC(双随机流形) | 极低(需融合算子降显存 IO) | 极强(谱范数 | 极强 | DeepSeek mHC (2025) |
核心 PyTorch 参考实现
下面完整实现 DeepNorm 缩放工具 与 流形约束超连接(mHC,含 Sinkhorn-Knopp 双随机投影) 模块:
python
import torch
import torch.nn as nn
import torch.nn.functional as F
def sinkhorn_knopp(logits: torch.Tensor, n_iters: int = 10, eps: float = 1e-8) -> torch.Tensor:
"""将任意实数矩阵通过 Sinkhorn-Knopp 迭代投影至双随机矩阵流形 (每行每列和为 1)"""
# 先减去每行最大值以防 exp 溢出
m = torch.exp(logits - logits.amax(dim=-1, keepdim=True))
for _ in range(n_iters):
m = m / (m.sum(dim=-1, keepdim=True) + eps) # 行归一化
m = m / (m.sum(dim=-2, keepdim=True) + eps) # 列归一化
return m
class DeepNormResidual(nn.Module):
"""DeepNet 千层稳定 Post-Norm 残差封装(以 N 层 Decoder-Only 为例)"""
def __init__(self, d_model: int, num_layers: int):
super().__init__()
self.alpha = (2.0 * num_layers) ** 0.25
self.beta = (8.0 * num_layers) ** -0.25
self.norm = nn.LayerNorm(d_model)
def scale_sublayer_init(self, linear_modules: list[nn.Linear]):
"""按 DeepNorm 理论缩小指定投影层(W_V, W_O, FFN)初始化标准差"""
with torch.no_grad():
for mod in linear_modules:
mod.weight.mul_(self.beta)
def forward(self, x: torch.Tensor, sublayer_out: torch.Tensor) -> torch.Tensor:
return self.norm(self.alpha * x + sublayer_out)
class ManifoldHyperConnection(nn.Module):
"""流形约束超连接 (mHC): 维持 n 条并行残差流并约束流间混流矩阵为双随机矩阵"""
def __init__(self, d_model: int, n_streams: int = 4, sinkhorn_iters: int = 10):
super().__init__()
self.n_streams = n_streams
self.sinkhorn_iters = sinkhorn_iters
# 静态初始化:对角占优近似恒等矩阵,确保训练起点等价于标准残差
init_res = torch.full((n_streams, n_streams), -4.0)
init_res.fill_diagonal_(0.0)
self.res_logits = nn.Parameter(init_res)
# 读取权重 (beta) 与 写入权重 (alpha),配合动态输入调制
self.read_proj = nn.Linear(d_model, 1, bias=False)
self.write_proj = nn.Linear(d_model, 1, bias=False)
self.static_read = nn.Parameter(torch.zeros(n_streams))
self.static_write = nn.Parameter(torch.zeros(n_streams))
self.alpha_scale = nn.Parameter(torch.tensor(0.01))
def forward(self, h_streams: torch.Tensor, sublayer_fn: nn.Module) -> torch.Tensor:
# h_streams: [B, N, n_streams, d_model]
# 1. 双随机流形投影 A_r: [n_streams, n_streams]
a_res = sinkhorn_knopp(self.res_logits, n_iters=self.sinkhorn_iters)
# 2. 动态+静态非负读取权重 beta: [B, N, n_streams, 1]
read_dyn = self.alpha_scale * self.read_proj(h_streams) # [B, N, n, 1]
beta = F.softmax(read_dyn + self.static_read.view(1, 1, -1, 1), dim=2)
# 3. 汇聚多流送入单路子层(计算量与原单流完全相同)
sub_in = (h_streams * beta).sum(dim=2) # [B, N, d_model]
sub_out = sublayer_fn(sub_in) # [B, N, d_model]
# 4. 非负写入权重 alpha: [B, N, n_streams, 1]
write_dyn = self.alpha_scale * self.write_proj(h_streams)
alpha = 2.0 * torch.sigmoid(write_dyn + self.static_write.view(1, 1, -1, 1))
# 5. 双随机流间混合 + 写入子层增量
mixed = torch.einsum("ij,bnjd->bnid", a_res, h_streams)
return mixed + alpha * sub_out.unsqueeze(2)
if __name__ == "__main__":
mhc = ManifoldHyperConnection(d_model=256, n_streams=4)
dummy_ffn = nn.Sequential(nn.RMSNorm(256), nn.Linear(256, 256, bias=False))
h = torch.randn(2, 16, 4, 256) # 4 条并行残差流
h_next = mhc(h, dummy_ffn)
a_mat = sinkhorn_knopp(mhc.res_logits)
print("mHC output shape:", h_next.shape)
print("Row sums:", a_mat.sum(dim=-1).detach().round(decimals=3).tolist())
print("Col sums:", a_mat.sum(dim=-2).detach().round(decimals=3).tolist())工程实践与常见陷阱
工程实践
- 残差分支末端投影初始化缩减(GPT-2 / LLaMA 准则):即便使用标准 Pre-Norm,工业界也习惯将每个残差分支的最后一个线性层(注意力
与 FFN )初始化标准差按 缩小(其中 为总层数),确保训练第 0 步时残差流总方差 恒定,不随层数爆炸。 - mHC 的显存带宽与 Kernel 融合:将残差流扩展
倍几乎不增加 FLOPs,但残差张量的显存读写量放大了 。在生产级训练(如 DeepSeek mHC 基础设施)中,必须编写融合 CUDA/Triton Kernel 将读取汇聚、Sinkhorn 投影、流间混合与残差写入合并在片上 SRAM 中完成,并配合重计算避免激活显存成倍膨胀。 - 流水线并行(PP)下的多流通信适配:在流水线阶段边界传递
宽度的残差流会增加点对点通信量,需借助计算-通信异步重叠隐藏额外延迟。
常见陷阱
- DeepNorm 中误缩放所有层权重:DeepNorm 的
缩放仅适用于残差分支内部特定矩阵( 与 FFN 权重);若把 也乘以极小的 ,会导致初始注意力分布退化为均匀平均、破坏早期梯度信号(论文明确不对 乘 )。 - 在无约束 HC 中直接扩大至百亿规模:无流形约束的动态 HC 在 1B 以下小模型验证收益显著,但扩展到百亿参数与长程训练时,混流矩阵特征值偏移极易在中后期诱发不可逆的梯度尖峰(Gradient Norm Explosion),必须引入双随机约束(mHC)或严格的谱范数正则化。
- 残差流多流输入与输出头对齐:采用 HC/mHC 时,输入词嵌入需先复制广播为
份构造初始 ,在最后一层进入 final_norm与lm_head之前则需沿流维度求和或取均值归约回单流。
延伸阅读与参考论文
- 残差网络奠基:He et al., Deep Residual Learning for Image Recognition, CVPR 2016 (arXiv:1512.03385 ↗).
- Transformer 残差流电路理论:Elhage et al., A Mathematical Framework for Transformer Circuits, Transformer Circuits Thread ↗, 2021.
- 千层稳定 DeepNorm:Wang et al., DeepNet: Scaling Transformers to 1,000 Layers, IEEE TPAMI 2024 (arXiv:2203.00555 ↗, 2022).
- 多流超连接 HC:Zhu et al., Hyper-Connections, ICLR 2025 (arXiv:2409.19606 ↗, 2024).
- 流形约束超连接 mHC:Xie et al. (DeepSeek-AI), mHC: Manifold-Constrained Hyper-Connections, arXiv:2512.24880 ↗, 2025.