外观
概念定义 · 什么是「权重平均与退火融合(EMA / SWA / Checkpoint Soup)」?
权重平均是指把训练过程中留下的多个模型检查点(Checkpoint)的参数直接按比例相加求平均,融合成一个新模型。它不像传统模型集成那样需要同时跑好几个模型,而是零额外推理开销、零显存增加,却能把参数稳稳拉进损失地形里最宽阔平坦的“中心甜点区”,是 LLaMA、DeepSeek、Qwen 等大模型预训练收官时最爱用的“免费涨点”压轴绝活。
01 为什么训练最后一步停下来的模型,往往不是最好的?
辛辛苦苦花几百万美元训完几万亿 Token,盯着屏幕等最后一步跑完,把最后一个检查点导出发版——听起来顺理成章,对吧?
可现实是:哪怕到了训练尾声,每次小批量抽样(Mini-batch)带来的梯度噪声依然让模型参数微微发抖。就像一名刚跑完马拉松冲过终点线的运动员,呼吸还没平复,停下的那一步可能恰好偏左一点、或者偏右一点。
传统机器学习的提分大招是模型集成(Ensemble):同时部署 5 个模型,每次推理 5 个一起算再投票。效果确实好,可大模型推理本来就贵得要命,谁受得了延迟和显存直接翻 5 倍?
于是研究者冒出一个大胆到听起来有点“离谱”的念头:能不能别在输出概率上求平均,直接把这几个检查点的权重矩阵加起来求平均,合成一个模型?
核心设问
神经网络的损失函数明明是高度非凸的崇山峻岭,直接把几组参数线性求平均为什么不会把模型彻底“搅成浆糊”?EMA、SWA 和 WSD 退火期的 Checkpoint Soup 各自适合什么时候出手?
02 三个生活类比:山谷溜冰、滚动均值与“同门煲汤”
类比一:为什么参数平均反而比单点更强?
类比 · 宽阔山谷里的蒙眼溜冰选手
把大模型的最优解区域想象成一座宽阔平坦的碗状山谷。带随机噪声的 AdamW 优化器 就像在山谷里蒙眼溜冰的选手:只要步长还不为零,他总会被坡壁弹来弹去,一直贴着山谷边缘打转,很少正好停在谷底正中央。
SWA (Izmailov et al., 2018) ↗ 的神奇之处就在这里:你把选手绕着山谷边缘留下的 10 个位置坐标取个几何平均,那个平均点会笔直落进宽谷正中央最平坦的位置!宽谷中心有个天大好处——哪怕测试集的真实地形比训练集稍微平移了一小段,站在峭壁边缘的单点会瞬间滑坡掉分,而站在宽谷正中的平均模型依然纹丝不动!
类比二:EMA vs SWA / LAWA——“实时滤波”与“事后挑枣”
类比 · 股票均线 vs 考前最后五套模考卷
- EMA(指数滑动平均):就像股票 K 线图里的平滑均线。每往前走一步,新影子权重等于
0.999 × 旧影子 + 0.001 × 当前权重。最近的步子权重高、太久远的记忆慢慢淡忘,全程实时过滤掉毛刺抖动,代价是内存里得多留一套“影子账本”。 - SWA / LAWA(最近检查点平均):压根不用边训边算,省下在线显存!训完(或每训完一段)直接从硬盘里捞出最后 5 到 10 个周期性存下的检查点,在 CPU 上花两分钟求个平均,立马白嫖一波验证 Loss 下降(见 LAWA, 2022 ↗)。
类比三:Checkpoint Soup——为什么必须“师出同门”才能煲汤?
类比 · 同宗同源的“老汤分锅”
如果你拿两个各自从零随机初始化训出来的模型直接把权重相加,结果一定是彻底报废的乱码——因为两个模型内部的神经元编号根本对不上号,就像把中餐厨师和西餐厨师的菜谱按行硬拼在一起。
但如果你从 同一个 WSD 稳态检查点(见 学习率调度与 WSD)分出 3 口小锅做最后 5% 的退火冲刺:A 锅多放点数学题、B 锅多放点代码、C 锅多放点长文本。因为三口锅师出同门,所有神经元都待在同一座山谷里、编号完全对齐(学界称为线性模式连通性),最后把三锅汤按比例兑成一锅 Checkpoint Soup(检查点汤)(Model Soups, 2022 ↗),往往能同时兼得数学、代码与长文之长,全面超越任意单锅!
03 把关键公式读成人话
先看最常用的两条权重融合公式——在线的 EMA 与离线的 Checkpoint Soup / SWA:
把两条平均公式读成直觉:- 看 EMA 的
- 看 Soup 的
:把同一盆地里 个检查点按比例混合。等权重就是 Uniform Soup;先把候选按验证分排序、挨个试着加进锅里“提分就留、掉分就踢”,就是工业界最爱用的 Greedy Soup(贪心汤)!
再看为什么在宽谷里做
把方差缩减读成直觉:在 WSD 学习率调度 的稳态巡航期,学习率很高,单个检查点因为步子大老在谷底上方震荡,直接拿去评测分数不好看。可你把最近
04 它在大模型全流程里怎么工作?
权重平均已经无缝嵌入前沿大模型(如 LLaMA-3、DeepSeek、Qwen)的研发流水线:
- 预训练中段(无痛质检):在 WSD 恒定高学习率长跑时,用 数据并行 配合 CPU 卸载的 EMA,或离线 LAWA 平均最近 5 个检查点,就能在不中断主线、不另开退火分支的情况下,精准看清模型真实实力涨了多少。
- 预训练收官(多配方退火煲汤):像 LLaMA-3 (2024) ↗ 那样,从稳态检查点分出多条不同数据配比的短退火支线,再用 Checkpoint Soup 融合,既能免费涨点,又省去了“到底是代码配 30% 还是 40%”的反复重训。
- 长文本扩窗的稳压器:在 DeepSeek-V3 (2024) ↗ 与 Qwen 等超大模型中,最后往往要经历多阶段上下文扩窗与高质量语料退火,适度融合末期检查点可以有效防止短文本基准在扩窗过程中发生意外退化。
- 向后训练自然延伸:同一套权重空间融合思想,传到下游 指令微调(SFT) 和多任务对齐阶段,就进一步长成了大名鼎鼎的 模型合并(Model Merging) 家族(如 SLERP、TIES、DARE)。
05 方案对比速查表 & 避坑备忘
| 技术方案 | 额外 GPU 显存 | 使用时机 | 一句话适用场景 |
|---|---|---|---|
| EMA(在线滑动平均) | 多 1 份 FP32 权重(可甩 CPU) | 训练全程在线平滑 | 扩散模型标配;大模型稳态期实时监控 |
| SWA / LAWA(轨迹平均) | 0(纯读硬盘检查点) | 预训练末期或任意中间点 | 零成本离线一键压低验证 PPL |
| 退火 Checkpoint Soup | 0(离线合并) | WSD 多数据配方退火收官 | 前沿大模型发版前平衡数学/代码/通用能力 |
工程落地千万躲开这三个坑:
- 绝对不能在 BF16 里直接算 EMA / 平均:BF16 精度太粗,面对
0.9999级别的极小增量会直接四舍五入变成0,你的 EMA 权重看起来在更新其实原地纹丝不动!务必在 FP32 下做完累加再转回 BF16。 - 别把“不同出身”的模型硬融在一起:只有共享同一个前期检查点、处于同一个损失盆地里的模型才满足线性模式连通性;两个各自从零训出来的模型直接平均只会原地崩坏。
- 微调短跑别照搬预训练的超大
:一共只微调几百步却设 ,影子权重几乎还死死停在起跑线没动弹,反而比原始权重差一大截。 - 遇到含 BatchNorm 的多模态视觉分支记得重算均值方差:纯 Transformer 的 RMSNorm/LayerNorm 不受影响,但若模型里挂了带 BatchNorm 的视觉编码器,融合完后务必用几百步训练数据过一遍前向以刷新统计量。
需要查阅平坦极小值 Hessian 泛化界推导、线性模式连通性(LMC)判据以及支持 CPU 卸载与 Greedy Soup 的完整 PyTorch 代码?按快捷键
M或点击顶部技术 Wiki随时切换。
在数万亿 Token 的大语言模型预训练尾声,单靠单个最终检查点(Checkpoint)往往仍残留着小批量梯度噪声带来的参数抖动;而传统多模型集成(Ensemble)虽能稳定提分,却会使推理显存与延迟成倍飙升。权重平均(Weight Averaging) 提供了一条近乎“免费午餐”的替代路径:将训练轨迹上多个处于同一损失盆地的权重直接做参数空间加权平均,包括在线维护的 EMA(指数滑动平均)、离散采样的 SWA(随机权重平均) / LAWA(最近检查点平均),以及面向 WSD 退火期 多数据配比分支的 Checkpoint Soup(检查点汤)。它们在不增加任何推理参数与延迟的前提下,稳定降低验证困惑度并提升下游泛化表现。
直观理解
把损失函数的最优区域想象成一座宽阔平缓的山谷:带随机噪声的 优化器 就像蒙眼在山谷里溜冰的选手,步子稍大就会一直贴着山谷陡峭的边缘兜圈子,很少刚好停在最中心。如果你把选手在山谷边缘不同方位留下的十几个脚印坐标直接求平均,得到的“重心点”会奇迹般地精准落进宽谷最平坦的几何中心——即使测试集地形比训练集稍微偏移了一点,中心点依然稳如泰山。
起源背景与演进脉络
- Polyak–Ruppert 平均与 EMA 的早期奠基(1992–2010s):凸优化经典理论(Polyak & Juditsky, 1992)早已证明,对随机梯度下降(SGD)的迭代序列做时间平均,可在不衰减步长的情况下将参数估计方差降至最优渐近速率
。在深度学习兴起后,EMA(Exponential Moving Average) 率先在目标检测、生成模型(GAN / Diffusion)中成为标配,用于平滑高频梯度抖动。 - SWA 与损失地形几何发现(2018):Izmailov 等人(2018)提出 SWA(Stochastic Weight Averaging),系统揭示了深度非凸网络为何能在参数空间直接求平均——同一训练轨迹末期探索到的局部解之间存在低损失连通路径,平均权重会自然落入更宽广、更平坦的极小值盆地(Wider Optima),从而大幅缩小训练—测试泛化间隙。
- Model Soups、LAWA 与大语言模型退火融合(2022–2025):Wortsman 等人(2022)提出 Model Soups,将来自同一预训练初始化、不同超参或数据增强微调得到的模型权重直接融合;Kaddour(2022)与 Sanyal 等人(2023)进一步证明,在 LLM 预训练中仅平均最近若干步检查点(LAWA)或对高学习率轨迹做早中期权重平均,就能省下大量训练步数。2024 年起,随着 WSD(Warmup-Stable-Decay) 调度在 LLaMA-3、DeepSeek、Qwen 等前沿模型中全面普及,研究(Hägele et al., 2024)发现:在稳态高学习率期做 EMA/SWA 可以零额外算力近似复现退火效果,而在退火末期对不同高质数据配比分支做 Checkpoint Soup,更成为发版前最后一步高性价比“免费涨点”的标准工艺。
核心原理与数学推导
1. 平坦极小值、Hessian 曲率与泛化误差边界
设训练集损失函数
若极小值呈非对称宽谷(一侧陡峭、一侧平缓),随机优化器在有限学习率下往往停留在靠近陡壁的边界点
2. EMA、SWA 与方差缩减等价性
指数滑动平均(EMA) 在每步(或每
当衰减系数为常数
随机权重平均(SWA)与 LAWA 则采用等权或加权离线平均最近
在局部二次型盆地
这从理论上解释了为何在 WSD 稳态高学习率阶段做检查点平均,能够产生酷似学习率衰减(压缩
3. 线性模式连通性(LMC)与退火分支融合条件
并非任意两个大模型权重都能直接相加求平均。权重融合有效的充要几何前提是线性模式连通性(Linear Mode Connectivity, LMC)——即两套参数
两个独立随机初始化的模型因为神经元排列对称性不同,直接平均会撞上巨大的势垒彻底失效;而从同一个 WSD 稳态检查点分叉、分别用不同退火数据配比(如代码侧重、数学侧重、长文本侧重)训练最后
架构 / 数据流图
图表加载中...
相关模式与横向对比表
| 方法 | 计算与显存开销 | 更新时机 | 典型配置 | 最优适用场景 |
|---|---|---|---|---|
| EMA(指数滑动平均) | 额外 | 在线每步或每 | 扩散模型标配、WSD 稳态期低成本中间监控 | |
| SWA(随机权重平均) | 仅额外保存若干硬盘检查点 | 末期循环/恒定 LR 周期采样 | 等权平均末期 | 视觉与中小语言模型末期泛化提升 |
| LAWA(最近检查点平均) | 零在线显存开销,仅读盘融合 | 训练结束离线合并 | 等权或线性加权最近 | 大模型预训练任意阶段“一键提分” |
| WSD 退火 Checkpoint Soup | 需跑多条短退火分支(总算力可控) | 多分支退火完成后离线融合 | Uniform Soup 或验证集 Greedy Soup | LLaMA / DeepSeek / Qwen 级预训练发版收官 |
| 多模型推理 Ensemble | 推理显存与延迟放大 | 推理期实时聚合 logits | 刷榜离线打标,线上高并发部署代价过高 |
核心 PyTorch 参考实现
下面实现工业预训练常用的两个轻量组件:(1)支持预热衰减与可选 CPU 卸载、在 FP32 下维护以防 BF16 舍入漂移的 ModelEMA;(2)支持 Uniform/EMA 权重以及验证集贪心筛选的 CheckpointSoup。
python
from copy import deepcopy
from typing import Callable, Iterable
import torch
import torch.nn as nn
class ModelEMA:
"""支持动态预热衰减与 FP32/CPU 卸载的指数滑动平均器(EMA)。"""
def __init__(self, model: nn.Module, decay: float = 0.9995, update_every: int = 1, offload_to_cpu: bool = False):
self.decay, self.update_every, self.step_count = decay, update_every, 0
self.device = torch.device("cpu") if offload_to_cpu else None
# 始终以 FP32 维护影子权重,避免 BF16 下 (1 - beta) * theta 发生下溢停滞
self.shadow = {
k: v.detach().float().to(self.device or v.device).clone()
for k, v in model.state_dict().items() if v.is_floating_point()
}
@torch.no_grad()
def update(self, model: nn.Module) -> None:
self.step_count += 1
if self.step_count % self.update_every != 0:
return
eff_step = self.step_count // self.update_every
beta = min(self.decay, (1.0 + eff_step) / (10.0 + eff_step))
for k, v in model.state_dict().items():
if k in self.shadow:
src = v.detach().float()
if self.device is not None:
src = src.to(self.device, non_blocking=True)
self.shadow[k].lerp_(src, 1.0 - beta)
def apply_to(self, model: nn.Module) -> None:
state = model.state_dict()
for k, s_val in self.shadow.items():
state[k].copy_(s_val.to(device=state[k].device, dtype=state[k].dtype))
@torch.no_grad()
def average_state_dicts(state_dicts: list[dict[str, torch.Tensor]], weights: list[float] | None = None) -> dict[str, torch.Tensor]:
"""在 FP32 下执行 SWA / LAWA / Checkpoint Soup 加权平均。"""
n = len(state_dicts)
w_list = [1.0 / n] * n if weights is None else [w / sum(weights) for w in weights]
avg_sd: dict[str, torch.Tensor] = {}
for k, ref in state_dicts[0].items():
if ref.is_floating_point():
acc = torch.zeros_like(ref, dtype=torch.float32)
for sd, w in zip(state_dicts, w_list):
acc.add_(sd[k].float(), alpha=w)
avg_sd[k] = acc.to(ref.dtype)
else:
avg_sd[k] = state_dicts[-1][k].clone()
return avg_sd
@torch.no_grad()
def greedy_checkpoint_soup(
model: nn.Module,
ranked_state_dicts: Iterable[dict[str, torch.Tensor]],
eval_loss_fn: Callable[[nn.Module], float],
) -> tuple[dict[str, torch.Tensor], float]:
"""贪心模型汤(Greedy Soup):按单点性能排序,仅合入能降低验证损失的分支。"""
candidates = list(ranked_state_dicts)
selected = [candidates[0]]
model.load_state_dict(selected[0])
best_loss = eval_loss_fn(model)
for cand in candidates[1:]:
model.load_state_dict(average_state_dicts(selected + [cand]))
if (trial_loss := eval_loss_fn(model)) < best_loss:
selected.append(cand)
best_loss = trial_loss
return average_state_dicts(selected), best_loss
if __name__ == "__main__":
torch.manual_seed(0)
net = nn.Sequential(nn.Linear(16, 32), nn.SiLU(), nn.Linear(32, 4))
ema, ckpts = ModelEMA(net, decay=0.99, offload_to_cpu=True), []
for _ in range(5):
for p in net.parameters():
p.data.add_(torch.randn_like(p) * 0.01)
ema.update(net)
ckpts.append(deepcopy(net.state_dict()))
soup_sd = average_state_dicts(ckpts, weights=[0.1, 0.15, 0.2, 0.25, 0.3])
print("LAWA 加权平均完成, 参数张量数:", len(soup_sd))工程实践与常见陷阱
工程实践
- 必须用 FP32 累加权重平均:在大规模 BF16 混合精度训练中,BF16 尾数仅
位(机器精度 )。若在 BF16 下直接算 的 EMA,增量 会直接舍入为零导致权重完全冻结!因此无论是在线 EMA 还是离线 Checkpoint Soup,都必须在 FP32 中完成累加后再转回 BF16 存储。 - 超大模型的零显存开销策略:对于百亿至千亿参数模型,在 GPU 上常驻一份 FP32 EMA 副本代价昂贵。生产中通常采用两种无痛方案:(a)结合 数据并行与 ZeRO 分片 按分片卸载 EMA 至 CPU 内存,每隔
步异步更新一次;(b)干脆关闭在线 EMA,直接复用训练周期性落盘的最后 个检查点做离线 LAWA 或退火分支 Soup。 - 跨数据配比的退火分支融合:参考 LLaMA-3 等实践,从同一个高质量 WSD 稳态检查点并行拉出
条仅占总算力 的退火支线(分别侧重代码、数学、长文本与通用精洗语料),最后用验证集权重搜索或 Greedy Soup 融合,往往比把所有数据硬塞进单条退火轨迹表现更均衡。
常见陷阱
- 切勿直接平均不同训练起点或跨度过大的检查点:如果两个检查点来自不同随机种子从头训练,或者时间跨度横跨剧烈的学习率突变与词表/架构改动,它们往往已落入不同盆地(破坏线性模式连通性),强行平均会导致困惑度飙升甚至输出乱码。
- 含 BatchNorm 的模块需重算统计量:虽然现代 Transformer 普遍使用无跨样本统计量的 RMSNorm / LayerNorm(无需额外处理),但若多模态视觉编码器中包含 BatchNorm 层,做完 SWA/Soup 后必须用少量训练集前向一遍重新校准
running_mean与running_var。 - EMA 衰减系数
与总步数不匹配:若总共只微调 步却套用预训练的 (有效窗口 步),EMA 权重几乎完全滞留在初始起点附近,验证效果反而远差于原始权重;通常应保证有效窗口 约占总更新步数的 。
参考文献
- Izmailov, P., Podoprikhin, D., Garipov, T., Vetrov, D., & Wilson, A. G. (2018). Averaging Weights Leads to Wider Optima and Better Generalization. UAI 2018. arXiv:1803.05407 ↗
- Polyak, B. T., & Juditsky, A. B. (1992). Acceleration of Stochastic Approximation by Averaging. SIAM Journal on Control and Optimization. DOI:10.1137/0330046 ↗
- Wortsman, M., Ilharco, G., Gadre, S. Y., et al. (2022). Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time. ICML 2022. arXiv:2203.05482 ↗
- Kaddour, J. (2022). Stop Wasting My Time! Saving Days of ImageNet and BERT Training with Latest Weight Averaging. arXiv:2209.14981 ↗
- Sanyal, S., Neerkaje, A., Kaddour, J., Kumar, A., & Sanghavi, S. (2023). Early Weight Averaging meets High Learning Rates for LLM Pre-training. arXiv:2306.03241 ↗
- Hägele, A., Bakouch, E., Kosson, A., et al. (2024). Scaling Laws and Compute-Optimal Training Beyond Fixed Training Durations. NeurIPS 2024. arXiv:2405.18392 ↗
- Dubey, A., et al. (2024). The Llama 3 Herd of Models. arXiv:2407.21783 ↗
- DeepSeek-AI (2024). DeepSeek-V3 Technical Report. arXiv:2412.19437 ↗