外观
概念定义 · 什么是张量并行(TP)、序列并行(SP)与上下文并行(CP)?
当模型单层权重巨大,或者单条训练文本长达几十万 Token 时,光靠数据并行切批次已经装不下了,必须把单个矩阵乘法或单条长文本本身横着、竖着切开塞进多张卡。
张量并行(TP) 把一层里的权重矩阵按行/列切给同机多卡合算;序列并行(SP) 顺手把归一化层和残差激活按序列长度切开省显存;上下文并行(CP,如 Ring Attention / Ulysses) 则专治超长文本,把几十万字切成多段分给不同卡,像接力传球一样轮流交换 KV 块算出完整注意力。
01 问题从何而来:当单层矩阵或一条长文本就把显存撑爆了
前面讲过的 ZeRO / FSDP 虽然能把静态模型参数切分到几十张卡上,但它有一个前提:算到某一层时,单张 GPU 必须能临时装下这一层的完整权重,并独自啃完一整条输入序列的全部激活。
可当模型宽度飙升到
类比 · 大型翻译车间的三种“内部分工”
把处理一篇十万字超长原著的单个 Transformer 层,想象成一个由 8 位译员(8 张 GPU)组成的翻译车间:
- 张量并行(TP):把那本巨厚无比的专业词典横向撕成 8 册,每人专攻
的词汇特征维度,每完成一大段翻译,大家把各自算出的半成品汇总核对一次总账; - 序列并行(SP):译员们发现,到了校对标点和排版(LayerNorm、Dropout、残差相加)这种不查大词典的轻量环节,8 个人每人从头到尾重复校对整本十万字原著太浪费桌面了!于是顺手把原著按页拆成 8 份,每人只校对
页; - 上下文并行(CP):原著暴涨到一百万字,连自注意力草稿纸都摊不开了。8 位译员围坐成一张圆桌,每人只拿
原著,把自己的笔记顺时针传阅一圈就能通读全书(Ring Attention),或者干脆临时按“人物线索/时间线索(注意力头)”互换笔记(Ulysses)!
核心设问
怎么切分两层相连的矩阵乘法,才能避免每算完一层就停下来疯狂同步通信?SP 号称能把非 TP 区的激活显存砍到
02 核心直觉与生活类比:列行配对、零成本 SP 与圆桌传笔记
这三个层内并行方案之所以成为现代集群的教科书典范,全靠三个极其精妙的数学与通信巧思。
类比 · TP 列并行 + 行并行:为什么两层矩阵必须“一竖切、一横切”?
如果把 MLP 的两层线性变换
- 第一层
竖着切(Column Parallel):每张卡各算出一小段输出列 。因为后面的激活函数 是逐元素独立算的,完全不用通信,每张卡本地直接把 算完! - 第二层
横着切(Row Parallel):每张卡手里的局部输出 刚好和本地横切块 维度严丝合缝,乘完得到局部结果 ,最后全员做仅仅 1 次 All-Reduce 求和,拼出来的 和单卡完整计算数学上分毫不差!
多头自注意力更是天生适配:
类比 · SP 序列并行:拆开 All-Reduce,免费白嫖 8 倍激活省显存
纯 TP 有个隐藏浪费:在 LayerNorm、Dropout 和残差连接处,8 张卡上存着 8 份一模一样的完整序列激活。Megatron-SP (2023) ↗ 盯着 TP 末尾的 All-Reduce 灵机一动——前面学过,一次 All-Reduce 本质上就是一次 Reduce-Scatter 加一次 All-Gather!
那我们直接把这对孪生操作从中间掰开不就行了?
- 走出横切线性层时,只做
Reduce-Scatter(顺手把结果沿序列长度切成 8 份,每卡只拿); - 接下来的 Dropout、残差加、RMSNorm / LayerNorm 全都是逐词独立操作,每卡在
的小碎片上各自飞快算完,激活显存直降 8 倍; - 等要进下一个竖切线性层前,再补上原本就欠着的那次
All-Gather拼回全长!
合起来还是 Reduce-Scatter + All-Gather,总通信字节数与纯 TP 精确相等(0% 额外通信),却白白抹掉了非 TP 区的全部冗余激活!
类比 · CP 上下文并行:圆桌传纸条(Ring)vs 交换分工表(Ulysses)
如果文章长到 512K,哪怕进了 Attention 也装不下完整序列,就轮到 CP 登场:
- Ring Attention(arXiv ↗):每张卡死守自己的查询段
,把自己的键值对 沿着 GPU 圆桌顺时针传给下一张卡。每收到一块新 ,就用 FlashAttention 的在线 Softmax 公式增量更新一次注意力结果——妙处在于 “左手算当前块注意力,右手同步传下一块 KV”,只要文章够长,通信时间被完全藏进计算时间里! - DeepSpeed Ulysses(arXiv ↗):换个维度破局!平时按序列长度切(每卡
长度、全部 个头);一到 Attention 门口,全员执行一次 All-to-All乾坤大挪移,瞬间切换成“每卡拿完整长度、但只管 个注意力头”,直接调单卡 FlashAttention 一气呵成,算完再做一次 All-to-All换回序列切分!
03 把关键公式读成人话
先看 Megatron-LM 列并行 + 行并行零中间通信的矩阵分块恒等式:
**把 TP 矩阵分块读成直觉:**左边的
再看 SP 零额外通信的底层恒等式:
**把 SP 拆解式读成直觉:**原本在出口一口气做完的 Reduce-Scatter + All-Gather,被 SP 巧妙地把后半步 All-Gather 推迟到了下一层的入口。夹在中间的整片非线性区域于是天然运行在
04 它在模型里怎么工作 & 与上下游的关系
在多机万卡集群的硬件拓扑里,TP / SP / CP 各守其位,形成清晰的立体分工:
- 机内高速 NVLink 跑 TP + SP:TP 每层前反向都要同步 4 次,极其吃通信带宽和延迟,因此工业界有一条铁律——严格把 TP 限制在单机 8 卡 NVLink 内部(
),并且只要开了 TP 就无条件绑定开启 SP。 - 跨机长文本交给 CP(或 USP 2D 混合):当训练进入 128K–1M 扩窗阶段,单靠 SP 扛不住 Attention 的长序列显存,就叠加上下文并行 CP。实际部署中常把机内 Ulysses(吃满 NVLink 双向带宽)和机间 Ring Attention 拼成 USP(arXiv ↗),既突破 GQA 注意力头数限制,又能跨多机线性拉长上下文。
- 与外层并行和显存优化无缝拼装:TP/SP/CP 解决的是层内宽度与长度爆炸;跨层深度交给 流水线与专家并行 (PP/EP),跨样本吞吐交给 数据并行与 ZeRO,剩余的激活峰值再由 训练显存全景优化 中的选择性重计算兜底。
05 演化对比与避坑备忘
| 并行技术 | 切分维度 | 权重显存 | 激活显存 | 核心通信原语 | 典型瓶颈与上限 |
|---|---|---|---|---|---|
| TP (Megatron) | 隐藏维 / 注意力头 | 仅线性层内 | 每层 2 次 All-Reduce | 受限 NVLink 与 | |
| TP + SP | 线性层隐藏维 + 其余序列维 | 全层近似 | RS + AG(零额外通信) | 同 TP,几乎无理由不绑定开启 | |
| CP: Ring Attention | 全层序列维 ( | 不切分 | 全层 | P2P 异步环形传 KV | 序列够长才能藏住通信,无头数上限 |
| CP: Ulysses | 序列维 | 不切分 | 全层 | Attention 前后 All-to-All | 硬上限 |
工程实操中最容易踩的三个隐蔽大坑:
- 开启 SP 后忘了同步 LayerNorm / RMSNorm 的梯度:SP 虽然把激活按序列切给了 8 张卡,但 RMSNorm / LayerNorm 的权重本身在 8 张卡上还是完整复制的。每张卡只看了
句子的激活,算出的 Norm 梯度只是局部和——如果优化器更新前忘了对这些 SP 复制参数额外做一次跨 TP 组的 All-Reduce,8 张卡的 Norm 权重跑几步就会彻底分家! - 在 GQA 模型上盲目拉大 TP 超过 KV 头数:像 LLaMA-3 70B 采用了 GQA 只有 8 个 KV 头。如果硬开
TP=16,只能把每个 KV 头强行复制两份并额外同步梯度,越扩越亏。 - 因果 Ring Attention 傻傻按顺序切分,引发严重“木桶效应”:因为因果掩码是个下三角形,如果把文章前
给 0 号卡、最后 给 7 号卡,0 号卡只需要算极小一块三角早早收工发呆,7 号卡却要苦哈哈算满整块三角,全集群白白浪费近一半算力!工业界一律采用 Zig-Zag 交错配对切分(把文章切成 段,0 号卡拿第 1 段拼最后 1 段,以此类推),让每张卡的三角面积绝对均等。
需要查阅 Megatron-LM 算子共轭推导、TP+SP 单层 Mermaid 数据流图以及可验证精确等价的
verify_megatron_tp_mlp与ring_attention_online_softmax_sim代码?按快捷键M或点击顶部技术 Wiki随时切换。
当模型单层隐藏维度高达
直观理解
可以把处理一篇十万字超长文章的单个 Transformer 层想象成一个大型翻译车间:张量并行(TP) 是把庞大的词典和专家团队横向拆给 8 位工匠,每人只负责查自己那
问题动机与演进背景
- 为什么 Megatron-LM TP 不能随意逐层独立切分? 如果对每一个线性层都单独切分并立即同步,MLP 两层与 Attention 四层线性投影将触发海量阻塞式 All-Reduce 通信。Megatron-LM 的精妙之处在于将两层矩阵配对为 “先列切分(ColumnParallel)+ 后行切分(RowParallel)”,使中间激活天然保持切分形态直接穿过逐元素激活函数(GeLU/SwiGLU)与多头注意力计算,将整个 Transformer 层的同步压缩至仅 2 次前向 All-Reduce 与 2 次反向 All-Reduce。
- TP 的残余激活冗余与 SP 的诞生 在纯 TP 中,LayerNorm、Dropout、残差连接(Residual Add)以及进入并行线性层前的输入激活在所有
张 TP 卡上是完全冗余复制的。当序列长度 增大时,这部分未经切分的激活反而成为显存主导项。Megatron-SP(Sequence Parallelism) 发现,只需将 TP 边界的 All-Reduce拆解为等价的Reduce-Scatter+All-Gather,即可在总通信量绝对不变(零额外通信字节) 的前提下,顺手把所有非 TP 区域的激活沿序列维切分为 ! - 迈向 128K–1M 长文本的上下文并行(CP) Megatron-SP 仅在 LayerNorm/Dropout 处切分序列,进入 Attention 计算前仍需 All-Gather 恢复完整序列
,且受限于注意力头数(特别是 GQA 中 KV 头数常仅为 8,导致 TP 度上限被锁死在 8)。面向超长序列,上下文并行(CP) 将完整序列在包括 Attention 在内的全部算子上全程切分给 张卡,演化出 Ring Attention(基于 Q/KV 环形接力) 与 DeepSpeed Ulysses(基于序列维与头维 All-to-All 转置) 两大主流流派。
核心原理与数学推导
1. Megatron-LM 张量并行(TP):列并行 + 行并行
考虑一个两层 MLP(以
由于
第
Multi-Head Attention 的对称切分:由于各个注意力头天然相互独立,将
定义两个共轭分布式算子
:前向为恒等映射(Identity),反向为 All-Reduce; :前向为 All-Reduce,反向为恒等映射(Identity)。
于是每个 Transformer Block(Attention + MLP)前向仅需 2 次 All-Reduce,反向仅需 2 次 All-Reduce。每次 All-Reduce 通信激活张量大小为
2. 序列并行(SP):零通信增量消除残余激活
回顾 Ring All-Reduce 的恒等分解:
Megatron-SP 正是利用这一分解重构了 TP 与非 TP 区域的接口:
- 在 Attention / MLP 内部仍保持 TP 切分,但退出
RowParallelLinear时不再执行完整的All-Reduce,而是仅执行沿序列维切分的 Reduce-Scatter; - 此后紧接的
Dropout、Residual Add、LayerNorm / RMSNorm全部在长度为的本地序列分片上独立并行执行(完全不跨 Token,数学严格等价); - 在进入下一个 Attention / MLP 的
ColumnParallelLinear之前,再执行一次沿序列维的All-Gather拼回完整长度。
记算子
3. 上下文并行(CP):Ring Attention 与 DeepSpeed Ulysses
当序列长度
方案 A:Ring Attention(环形通信 + 在线 Softmax 归约)
每张 GPU
- 在第
轮中,GPU 用本地 与当前手头收到的 执行 FlashAttention 局部块计算,并利用在线 Softmax 统计量(局部最大值 与归一化分母 )实时合并输出: - 计算与通信完美重叠:就在 GPU
计算当前块注意力的同时,通过异步 P2P 通信将当前 发送给环上下游 GPU ,并从上游接收下一块。只要局部块计算耗时 大于通信耗时 ,通信延迟即可被完全隐藏! - 因果掩码负载均衡(Zig-Zag / Striped Ring Attention):若按连续顺序切分序列,由于下三角因果掩码存在,GPU 0 只需算
面积而最后一张卡要算满三角,负载极度不均。工程标准采用 Zig-Zag 交错切分(把序列切成 段,第 张卡拿第 段与倒数第 段配对),使每张卡的因果有效计算量严格均等。
方案 B:DeepSpeed Ulysses(序列维 头维 All-to-All 转置)
Ulysses 换了一个巧妙视角:Attention 跨序列耦合,但跨注意力头完全独立!
- 进入 Attention 前,每卡持有形状为
[B, S/N_c, H, d_h]的; - 执行一次
All-to-All集体通信,将“序列维切分”转置为“注意力头维切分”,张量形状变为[B, S, H/N_c, d_h]; - 每卡直接调用原生单卡 FlashAttention,一次性算完本地
个头的全长 注意力; - Attention 结束后再执行一次反向
All-to-All,将结果[B, S, H/N_c, d_h]转置回[B, S/N_c, H, d_h]继续后续 MLP。
Ulysses 通信总量为固定
算法架构与数据流图
下图展示了结合 TP + SP 的标准 Megatron-LM Transformer 层数据流,以及 Ulysses 与 Ring Attention 两种上下文并行的对比:
图表加载中...
复杂度与横向对比
设单层隐藏维度
| 并行技术 | 切分维度 | 权重显存缩放 | 激活显存缩放 | 核心通信原语 | 扩展度上限与瓶颈 | 典型网络层级 |
|---|---|---|---|---|---|---|
| TP (Megatron) | 隐藏维 / 注意力头维 | 仅线性层内 | 每层 2 次 All-Reduce (FWD) | 受限于 | 机内高速 NVLink | |
| TP + SP | 线性层隐藏维 + 非线性层序列维 | 全层近似 | Reduce-Scatter + All-Gather(与 TP 通信量相等) | 同 TP,几乎无理由不与 TP 绑定开启 | 机内高速 NVLink | |
| CP: Ring Attention | 全层序列维 ( | 不切分(依赖 FSDP/TP) | 全层 | P2P 异步环形传输 KV | 几乎无上限;需长序列 ( | 机内或跨机 InfiniBand |
| CP: Ulysses | 非 Attention 切序列 + Attention 切头 | 不切分(依赖 FSDP/TP) | 全层 | Attention 前后各一次 All-to-All | 硬上限 | 高双向带宽 NVLink / RoCE |
| USP (Ring + Ulysses) | 2D 混合(机内 Ulysses + 机间 Ring) | 不切分 | 全层 | 机内 All-to-All + 机间 P2P Ring | 突破头数限制并最大化长序列吞吐 | 多机百万级长上下文集群 |
核心 PyTorch 参考实现
下面代码单机完整演示 Megatron ColumnParallel + RowParallel MLP 的等价性验证,以及 Ring Attention 在线 Softmax 跨块归约 的核心算法逻辑:
python
import math
import torch
import torch.nn.functional as F
def verify_megatron_tp_mlp(tp_size: int = 4, B: int = 2, S: int = 16, H: int = 64):
"""验证 Megatron-LM 列并行 + 行并行 MLP 与单卡完整 MLP 的数学严格等价性。"""
torch.manual_seed(42)
X = torch.randn(B, S, H) # [B, S, H]
W1 = torch.randn(H, 4 * H) * 0.02 # [H, 4H]
W2 = torch.randn(4 * H, H) * 0.02 # [4H, H]
# 1. 单卡参考结果
ref_out = F.gelu(X @ W1) @ W2 # [B, S, H]
# 2. 模拟 tp_size 张卡:W1 按列切分,W2 按行切分
W1_shards = W1.chunk(tp_size, dim=1) # 每片 [H, 4H/tp]
W2_shards = W2.chunk(tp_size, dim=0) # 每片 [4H/tp, H]
partial_outs = []
for r in range(tp_size):
Z_r = F.gelu(X @ W1_shards[r]) # 本地激活无需通信: [B, S, 4H/tp]
Y_r = Z_r @ W2_shards[r] # 本地部分和: [B, S, H]
partial_outs.append(Y_r)
# 仅需一次 All-Reduce (Sum) 汇总最终输出
tp_out = torch.stack(partial_outs, dim=0).sum(dim=0)
max_diff = (ref_out - tp_out).abs().max().item()
print(f"[TP MLP] 最大数值误差: {max_diff:.2e} (数学严格等价)")
def ring_attention_online_softmax_sim(cp_size: int = 4, B: int = 2, S: int = 64, D: int = 32):
"""模拟 Ring Attention:将 Q/K/V 沿序列切分到 cp_size 张卡,通过环形传递 KV 与在线 Softmax 归约。"""
torch.manual_seed(7)
Q = torch.randn(B, S, D)
K = torch.randn(B, S, D)
V = torch.randn(B, S, D)
scale = 1.0 / math.sqrt(D)
# 1. 标准单卡全序列非因果注意力参考解
ref_attn = F.softmax((Q @ K.transpose(-2, -1)) * scale, dim=-1) @ V # [B, S, D]
# 2. 按序列维均分到 cp_size 张卡
Q_chunks = list(Q.chunk(cp_size, dim=1)) # 每卡 [B, S/cp, D]
K_chunks = list(K.chunk(cp_size, dim=1))
V_chunks = list(V.chunk(cp_size, dim=1))
S_local = S // cp_size
# 初始化各卡的在线 Softmax 归约状态: 输出 O、最大值 m、归一化分母 l
O_acc = [torch.zeros(B, S_local, D) for _ in range(cp_size)]
m_acc = [torch.full((B, S_local, 1), float("-inf")) for _ in range(cp_size)]
l_acc = [torch.zeros(B, S_local, 1) for _ in range(cp_size)]
# 环形传递 cp_size 步:第 step 轮 GPU r 持有来自源 (r - step) % cp_size 的 KV 块
for step in range(cp_size):
for r in range(cp_size):
kv_src = (r - step) % cp_size
q_r = Q_chunks[r] # [B, S_local, D]
k_j, v_j = K_chunks[kv_src], V_chunks[kv_src]
# 局部块 FlashAttention 统计量计算
scores = (q_r @ k_j.transpose(-2, -1)) * scale # [B, S_local, S_local]
m_blk = scores.max(dim=-1, keepdim=True).values # [B, S_local, 1]
p_blk = torch.exp(scores - m_blk) # [B, S_local, S_local]
l_blk = p_blk.sum(dim=-1, keepdim=True) # [B, S_local, 1]
o_blk = p_blk @ v_j # [B, S_local, D] (未除以 l_blk)
# 在线 Softmax 增量归约
m_new = torch.maximum(m_acc[r], m_blk)
alpha = torch.exp(m_acc[r] - m_new)
beta = torch.exp(m_blk - m_new)
l_new = alpha * l_acc[r] + beta * l_blk
O_acc[r] = (alpha * l_acc[r] * O_acc[r] + beta * o_blk) / l_new
m_acc[r], l_acc[r] = m_new, l_new
ring_out = torch.cat(O_acc, dim=1) # 拼回完整序列验证精度
max_diff = (ref_attn - ring_out).abs().max().item()
print(f"[Ring Attention] 最大数值误差: {max_diff:.2e} (在线归约精确等价)")
if __name__ == "__main__":
verify_megatron_tp_mlp()
ring_attention_online_softmax_sim()工程实践与常见陷阱
工程实践
- 严格将 TP 限制在单节点高速互联内:由于 TP 在每一层前后都要执行延迟敏感的同步集合通信,跨节点(InfiniBand/RoCE)拉大 TP(如 TP=16)会导致通信耗时激增、MFU 暴跌。工业铁律是:机内 8 卡 NVLink 跑 TP+SP,跨机靠 DP/FSDP、PP 或 CP 扩展。
- 异步 TP 通信与 GEMM 细粒度重叠(Async TP / Micro-pipelining):在
ColumnParallel前的All-Gather与RowParallel后的Reduce-Scatter中,可将张量切分为若干子块,借助 NVSHMEM 或 CUDA Stream 实现“刚收到第一块数据立刻送入矩阵乘”,在 H100 上可再隐藏 30%–50% 的 TP 通信延迟。 - SP 下的词表并行交叉熵(VocabParallelCrossEntropy):词嵌入层与输出头
LM Head(形状[H, V])同样可按词表维切分到 张 TP 卡,避免把巨大的 [B, S, 128K]Logits 聚合到单卡,仅需跨 TP 卡同步标量级的局部max与sum(exp)即可完成精确交叉熵计算。
常见陷阱
- TP + SP 下的梯度同步遗漏:开启 SP 后,LayerNorm / RMSNorm 的权重在各 TP 卡上仍是完整复制的,但由于每张卡只处理了
的序列分片,它们算出的 Norm 参数梯度只是局部和!因此在优化器更新前,必须对所有 SP 复制参数的梯度额外执行一次跨 TP 组的 All-Reduce(否则各卡 Norm 权重会迅速分叉)。 - GQA 架构下 TP 大于 KV 头数的隐性浪费:例如在采用 GQA 的 LLaMA-3 70B 中仅有
个 KV 头。若强行开启 TP=16,则必须把每个 KV 头复制到两张卡上并额外同步梯度,既增加显存又损失效率。 - Ring Attention 未启用 Zig-Zag 导致严重木桶效应:在因果语言建模中结合 FlashAttention 使用朴素连续切分时,最慢的 GPU 算力负载是平均值的近 2 倍,其余 GPU 一半时间都在空等,直接造成近 50% 的算力浪费。务必采用 Zig-Zag 对称配对切分或动态负载均衡策略。
延伸阅读与参考论文
- Shoeybi, M., et al. (2019). Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism. NVIDIA. (arXiv:1909.08053 ↗)
- Korthikanti, V. A., et al. (2023). Reducing Activation Recomputation in Large Transformer Models (Megatron-SP). MLSys 2023. (arXiv:2205.05198 ↗)
- Liu, H., Zaharia, M., & Abbeel, P. (2023). Ring Attention with Blockwise Transformers for Near-Infinite Context. ICLR 2024. (arXiv:2310.01889 ↗)
- Jacobs, S. A., et al. (2023). DeepSpeed Ulysses: System Optimizations for Enabling Training of Extreme Long Sequence Transformer Models. (arXiv:2309.14509 ↗)
- Brandon, W., et al. (2023). Striped Attention: Faster Ring Attention for Causal Transformers. (arXiv:2311.09431 ↗)
- Fang, J., & Zhao, S. (2024). USP: A Unified Sequence Parallelism Approach for Long Context Generative AI. (arXiv:2405.07719 ↗)