外观
概念定义 · 什么是「涌现能力、Grokking 与双下降」?
它们是大模型时代最颠覆传统直觉的三种泛化现象:双下降指模型参数远远超过数据量后,测试误差不再变差反而再度下降;Grokking(顿悟) 指模型早已把训练集背得滚瓜烂熟却考不了新题,继续苦练很久后某天突然豁然开朗、测试成绩一飞冲天;涌现能力则是大模型变大到某个临界点后,原本完全不会的复杂任务(如多步推理)突然冒出来——不过学界也发现,这其中既有真实的内部“顿悟电路”,也有评测指标放大造成的“视觉悬崖”。
01 为什么经典教科书的“过拟合铁律”在大模型面前失灵了?
翻开任何一本十年前的机器学习教科书,第一课都会画一条神圣的 U 形偏差-方差曲线:模型参数太少会欠拟合,参数太多一定会死记硬背(过拟合),所以工程师必须把参数量死死卡在中间的“甜点区”。
可大语言模型直接把这本教科书掀翻了——几百亿、上千亿参数的庞然大物不仅没有烂在过拟合里,反而参数越大、泛化越强!更神奇的是,人们在训练过程中接连撞见了三个怪象:
- 模型变大时,测试误差并不是一路变坏,而是先降、飙高、再一路狂降(Double Descent, 2019 ↗);
- 在算术任务上,模型早把训练题背成 100 分,验证集一直是 0 分,可坚持多训 100 倍步数后,验证集某天突然垂直飙到 100 分(Grokking, 2022 ↗);
- 大模型平时看起来平平无奇,跨过百亿参数门槛后,思维链推理 等能力仿佛一夜之间从石头缝里蹦了出来(Emergent Abilities, 2022 ↗)。
核心设问
为什么把模型造得“远超需要”反而更不容易过拟合?Grokking 漫长的“死记硬背期”里,神经网络脑子底下到底在悄悄酝酿什么?而大模型的“涌现”,究竟是突然开窍的神秘质变,还是评分尺子制造的光学幻觉?
02 三个生活类比:一秒看透双下降、顿悟与涌现
类比一:双下降——“勉强记住”最危险,“空间管够”最优雅
类比 · 用弹簧铁丝穿起桌上的图钉
想象桌上钉了 10 颗略带手抖误差的图钉(带噪样本),你要用一根可弯曲的铁丝穿过它们:
- 铁丝太硬(欠参数化):根本弯不过去,离图钉太远,误差大。
- 铁丝刚好有 10 个弯折点(插值阈值):最惨的情况来了!为了死命贴住每一颗带噪声的图钉,铁丝被迫在图钉之间疯狂扭曲出尖刺和剧烈波浪——虽然每颗训练图钉都穿中了,但图钉之外的预测彻底疯掉,测试误差在此处炸出最高峰!
- 铁丝极其柔软、有 10000 个自由度(严重过参数化):奇妙的事情发生了!既然有无穷多种走法都能穿过那 10 颗图钉,优化器(SGD / Adam)天然偏爱最省力、总弯曲度最小的那条光滑曲线。尖刺消失了,测试误差一路俯冲,甚至比经典甜点区还要低!
类比二:Grokking(顿悟)——房租倒逼学生扔掉死记硬背
为什么模型在模加法
类比 · “按笔记页数收房租”的备考学生
把模型想象成要背 97×97 张加法表的学生,优化器里的 权重衰减(Weight Decay) 就像每天按笔记本厚度(权重范数
- 第一阶段(死记硬背):考试逼近,最快的提分办法是把练习题全抄进一本厚字典里。成绩瞬间 100 分,但字典厚得吓人,考场遇到新题直接抓瞎(验证集 0 分)。
- 第二阶段(暗中悟道):既然练习题已经满分,每天最大的痛点变成了房东催缴的“笔记房租”!为了省钱,大脑在后台悄悄用三角函数画出了一个精巧的圆周齿轮(傅里叶电路),只需要薄薄两页纸就能算出所有题!
- 第三阶段(清理顿悟):齿轮造好后,厚重的死记硬背字典瞬间成了纯负资产,被房租彻底清理归零——学生扔掉字典、轻装上阵,考场新题分数一夜之间从 0% 飙到 100%!
类比三:涌现能力——“全对才给分”的连锁乘法效应
类比 · 10 道门锁的连环闯关游戏
假设你要连续开 10 道门锁,只要有一道出错整局判零分(Exact Match 精确匹配)。随着你开锁手艺平稳进步,单道锁的成功率按 缩放定律 从 50% 慢慢涨到 70%、85%、95%:
- 单锁 50% 时,全通关概率
(几乎为零); - 单锁 70% 时,全通关概率
(看着还是不行); - 单锁从 85% 涨到 98% 时,全通关概率瞬间从
暴涨到 !
你看,你的底层手艺其实一直都在平滑进步,但因为裁判用了 “连乘全对才给分”的非线性尺子,在观众眼里就成了“前面纹丝不动,到了某个点突然涌现”的奇迹!(见 Schaeffer et al., 2023 ↗)
03 把关键公式读成人话
先看把“平滑进步”变成“涌现悬崖”的那条核心放大公式:
**把非线性涌现公式读成直觉:**这里
再看驱动 Grokking 发生的双目标拉锯战:
**把 Grokking 动力学公式读成直觉:**前半项逼着模型先把训练题做对,后半项(优化器 里的权重衰减)不断给所有参数“收房租”。死记硬背的查表方案虽然上手快,但参数范数
04 它们和大模型工程有什么关系?
别以为这些只是理论家的纸上谈兵,它们直接影响着现代大模型训练与评测的日常决策:
- 预训练为何敢狂堆参数:双下降理论给“超大规模过参数化”发了通行证——只要配合合理的 μP 初始化、数据清洗与优化器隐式正则,模型越大越容易找到平滑泛化解,而不必被老式 U 形曲线吓住。
- 区分“假涌现”和“真顿悟”:Schaeffer et al. (2023) ↗ 并非否认一切跃变——机制可解释性研究已经证实,当两层以上 Transformer 跨越某个训练步数时,内部会真实发生 归纳头(Induction Heads) 的电路自组织相变,让模型真正获得上下文学习能力。两类现象并存,需要不同手段监测。
- 给预训练监控装上“透视镜”:在大模型跑了上万步、下游 Exact Match 依然纹丝不动时,绝不能急着砍实验——盯紧连续的验证交叉熵、权重范数以及内部电路进度指标,往往能提前看到“风暴前的平静”。
05 现象对比速查表 & 避坑指南
| 现象 | 表面奇观 | 核心幕后推手 | 看待姿势 |
|---|---|---|---|
| 双下降(Double Descent) | 参数越过样本数后误差先炸后降 | 奇异值放大噪声 | 处于临界容量最危险,要么清脏数据加正则,要么扩规模 |
| Grokking(顿悟) | 训练集早 100%,验证集滞后暴涨 | 权重衰减淘汰高范数死记硬背,孕育紧凑电路 | 小算法/推理微调别急着早停,权重衰减是关键推手 |
| 表面涌现 vs 真实相变 | 跨越规模门槛后任务分数骤然起飞 | 多步连乘指标放大 + 局部电路(如归纳头)形成 | 用连续 Loss 预判趋势,用电路探针诊断真实质变 |
三个实战避坑提醒:
- 别用 Exact Match 预测 Scaling Laws:拿“全对才给分”的离散指标去外推大模型的未来能力,极易在起飞前误判为“毫无希望”,也极易在起飞后神化成“玄学觉醒”,务必同时盯住连续对数似然。
- 数据脏噪声会让双下降尖峰暴涨:模型正好卡在插值阈值时,训练集里的错标样本会被放大成灾难性测试误差,基准评估与数据清洗 是压平尖峰的特效药。
- 复现 Grokking 千万别关掉 Weight Decay:把
weight_decay设成 0,模型背完题就躺平了,失去“房租压力”后,可能训到天荒地老也等不来顿悟时刻。
需要查阅 Marchenko–Pastur 随机矩阵方差推导、傅里叶乘法电路恒等式以及完整的模加法 Grokking PyTorch 复现代码?按快捷键
M或点击顶部技术 Wiki随时切换。
经典统计学习理论曾断言:模型参数过多必然导致过拟合、损失曲线遵循平滑渐变。然而现代深度学习与大语言模型反复展示出三种违背经典直觉的非单调或陡变泛化现象——参数量远超样本数后测试误差再度下降的双下降(Double Descent)、训练准确率早已达到
直观理解
经典理论觉得模型像装行李的行李箱,装太大(参数太多)一定会塞满没用的杂物(过拟合)。但真实深度网络更像一名刷题备考的学生:双下降说明当脑容量远远大于题库时,他反而不再死磕刁钻的凑巧解法,而是找到了最简洁优雅的通解;Grokking 则是他早就把练习册背得滚瓜烂熟(训练 100%),却在“精简笔记”(权重衰减)的持续倒逼下,某天突然扔掉死记硬背的查表法、顿悟了背后的数学公式;而涌现则是外界看他成绩单的视角——平时每步只多懂一点点,可考试按“全对才给分”算总分时,分数线就会在某个临界点突然一飞冲天。
起源背景与演进脉络
- 从 U 形偏差-方差权衡到现代双下降(2018–2019):经典统计学认为模型复杂度增大时,偏差下降、方差上升,测试误差呈 U 形曲线。2018 年 Belkin 等人提出现代双下降曲线,指出 U 形曲线仅覆盖“欠参数化区间”;一旦跨过训练误差归零的插值阈值(Interpolation Threshold),测试误差会先急剧飙升至峰值,随后随着模型继续变大而再次单调下降,甚至远低于经典甜点区。Nakkiran 等人(2019)进一步在 ResNet 与 Transformer 上发现,双下降不仅随模型大小出现,还随训练轮数(Epoch-wise) 与数据量(Sample-wise) 同步显现。
- Grokking 延迟泛化与机制解剖(2022–2023):2022 年 OpenAI 的 Power 等人在模运算等小型算法数据集上训练 Transformer 时发现奇观:模型在极早期就完美记住了训练集(训练准确率
,验证准确率接近随机猜测),但在继续训练数十倍甚至上百倍步数后,验证准确率竟突然从 陡升至 。2023 年 Nanda 等人用机制可解释性 彻底拆解了模加法 Grokking,证实其本质是权重衰减驱动的连续电路演化与记忆组件清理。 - 大模型涌现能力与“海市蜃楼”之争(2022–2023):2022 年 Wei 等人总结了大模型在多步算术、指令遵循与 思维链推理 等任务上“小模型几乎为零、跨越阈值骤然爆发”的涌现能力。2023 年 Schaeffer 等人发表极具影响力的反驳论文,证明大量所谓的“涌现悬崖”实际上是研究者选用了非线性、不连续评估指标(如 Exact Match)造成的视觉放大效应——当换回连续指标时,性能提升往往完全平滑地服从 缩放定律。这场争论推动社区严格区分指标诱导的表面跃变与底层内部电路的真实相变。
核心原理与数学推导
1. 过参数化双下降与插值阈值奇点
考虑高维线性回归模型
当
2. Grokking 的三相动力学与傅里叶电路
在模加法任务
为什么模型不一开始就学泛化规则,而必须先经历漫长的过拟合?这源于优化速度与模型复杂度(参数范数)的错位竞争:
- 阶段一:记忆相(Memorization):死记硬背训练集只需构造稀疏查表映射,梯度方向极其直接,因此模型迅速将
;但查表记忆需要存储海量独立键值对,参数范数 极大。 - 阶段二:电路形成相(Circuit Formation):一旦训练交叉熵趋近于零,梯度主导权移交给正则项
。Nanda 等人(2023)发现,单层 Transformer 会自发将整数词嵌入映射到少数关键频率 的圆周表示上,并利用注意力与 MLP 实现三角恒等式:
该傅里叶乘法电路(Fourier Multiplication Algorithm) 仅需极少自由度就能精确计算全部
- 阶段三:清理相(Cleanup):当泛化电路足以支撑训练准确度后,权重衰减持续削弱高范数的记忆权重直至其彻底归零;总权重范数骤降,验证准确率在外部呈现近乎垂直的“顿悟”跃升。
3. 涌现能力的非线性指标放大模型
设模型随计算量
对该指标关于损失求导可知
架构 / 数据流图
图表加载中...
相关模式与横向对比表
| 现象 | 触发维度 | 表面特征 | 底层核心机理 | 工程启示 |
|---|---|---|---|---|
| 模型/轮数双下降 | 参数量 | 风险先降、在插值阈值飙升、再降 | 病态奇异值放大噪声 vs 过参数化最小范数隐式正则 | 处于临界容量时加大正则或扩大规模反而更稳 |
| Grokking(顿悟) | 远超拟合点后的训练步数 | 训练早已 100%,验证延迟百倍步数暴涨 | 高范数记忆解与低范数泛化电路在 Weight Decay 下竞争 | 不可仅凭训练误差归零或早期验证平台仓促早停 |
| 指标诱导涌现 | 算力 | 跨规模门槛后基准分从 0 突然起飞 | 平滑交叉熵经 | 预训练监控必须看连续损失/Brier 分,勿单看 EM |
| 真实结构相变 | 规模或训练步数临界点 | 连续损失曲线出现局部拐点(Bump) | 跨层协同电路形成(如 归纳头 驱动上下文学习) | 可用进度度量(Progress Measures)提前预警 |
核心 PyTorch 参考实现
以下代码用极简单层 Transformer 在模加法 weight_decay=1.0),读者可直接观察“训练准确率极快破
python
import torch
import torch.nn as nn
import torch.nn.functional as F
class ModularTransformer(nn.Module):
"""极简单层 Transformer,用于复现模加法 (a + b) mod P 的 Grokking。"""
def __init__(self, p: int = 97, d_model: int = 128, n_heads: int = 4):
super().__init__()
# 词表: 0..P-1 表示整数,P 表示等号 '='
self.tok_emb = nn.Embedding(p + 1, d_model)
self.pos_emb = nn.Parameter(torch.randn(1, 3, d_model) * 0.02)
self.attn = nn.MultiheadAttention(d_model, n_heads, batch_first=True)
self.ffn = nn.Sequential(
nn.Linear(d_model, 4 * d_model),
nn.ReLU(),
nn.Linear(4 * d_model, d_model),
)
self.head = nn.Linear(d_model, p, bias=False)
def forward(self, x: torch.Tensor) -> torch.Tensor:
# 输入序列固定为 [a, b, '='],取末位表示预测 (a + b) mod P
h = self.tok_emb(x) + self.pos_emb
attn_out, _ = self.attn(h, h, h, need_weights=False)
h = h + attn_out
h = h + self.ffn(h)
return self.head(h[:, -1, :])
def build_mod_add_dataset(p: int = 97, train_frac: float = 0.3, seed: int = 42):
g = torch.Generator().manual_seed(seed)
pairs = torch.cartesian_prod(torch.arange(p), torch.arange(p)) # [P^2, 2]
eq_tok = torch.full((pairs.size(0), 1), p, dtype=torch.long)
xs = torch.cat([pairs, eq_tok], dim=1) # [P^2, 3]
ys = (pairs[:, 0] + pairs[:, 1]) % p
perm = torch.randperm(xs.size(0), generator=g)
split = int(train_frac * xs.size(0))
return xs[perm[:split]], ys[perm[:split]], xs[perm[split:]], ys[perm[split:]]
def train_grokking(steps: int = 15000, p: int = 97, wd: float = 1.0):
device = "cuda" if torch.cuda.is_available() else "cpu"
x_tr, y_tr, x_va, y_va = [t.to(device) for t in build_mod_add_dataset(p=p)]
model = ModularTransformer(p=p).to(device)
# 全批量 + 强解耦权重衰减是稳定触发 Grokking 的关键配置
opt = torch.optim.AdamW(model.parameters(), lr=1e-3, betas=(0.9, 0.98), weight_decay=wd)
for step in range(1, steps + 1):
logits = model(x_tr)
loss = F.cross_entropy(logits, y_tr)
opt.zero_grad()
loss.backward()
opt.step()
if step in {100, 500, 2000, 5000, 10000, steps}:
with torch.no_grad():
tr_acc = (logits.argmax(-1) == y_tr).float().mean().item()
va_logits = model(x_va)
va_acc = (va_logits.argmax(-1) == y_va).float().mean().item()
l2_norm = sum(param.pow(2).sum() for param in model.parameters()).sqrt().item()
print(f"Step {step:5d} | Loss {loss.item():.4f} | "
f"TrainAcc {tr_acc:.3f} | ValAcc {va_acc:.3f} | L2Norm {l2_norm:.2f}")
if __name__ == "__main__":
# 完整复现需约 10k-15k steps (GPU 约十几秒); 此处设 200 步快速验证形状与前向逻辑
train_grokking(steps=200, p=97, wd=1.0)工程实践与常见陷阱
工程实践
- 用连续代理指标追踪大规模预训练进展:在预训练和 微调评估 中,面对多步推理或复杂代码任务,除了报告 Exact Match / Pass@1,务必同步追踪验证集交叉熵、Brier Score 或正确选项对数概率——它们能在下游离散得分还停留在
时,提前揭示模型内部能力是否在平稳爬坡。 - 理解 Weight Decay 的双刃剑作用:在算法推理与小样本精调任务中,适度提高解耦权重衰减(
weight_decay)与采用 μP 初始化 有助于抑制纯死记硬背、促使特征学习向低复杂度通解收敛;但在海量单轮(1-epoch)预训练中,数据极少重复,过强权重衰减反而会限制记忆容量。 - 跨过插值阈值审视训练曲线:在多轮微调(Multi-epoch SFT)或中等规模数据训练中,若观察到验证损失先升后降,不必立刻判定模型彻底崩溃——检查是否正处于 Epoch-wise Double Descent 的插值峰值区,适当调强正则或观察权重范数变化往往比盲目砍掉训练更有效。
常见陷阱
- 将基准测试的非线性陡变误读为“不可预测的神秘质变”:许多宣称大模型“突然觉醒某种能力”的曲线,仅仅源于评测脚本把连续概率强行二值化(如完全匹配才算对)。评估缩放趋势时,绝不能用不连续指标直接外推奇点。
- 忽视训练数据的标签噪声与双下降峰值耦合:双下降的插值峰值高度与训练数据中的标签噪声方差
成正比。数据清洗不彻底时,处于临界规模的模型极易在峰值区严重退化,清理脏标签是抹平双下降尖峰最直接的手段。 - 在无权重衰减且未做归一化的设置下期待复现 Grokking:若将上述代码中的
weight_decay设为0.0,模型在记忆相完成后缺乏驱逐高范数查表权重的动力学推力,Grokking 往往会被推迟数个数量级甚至完全不发生。
参考文献
- Power, A., Burda, Y., Edwards, H., Babuschkin, I., & Misra, V. (2022). Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets. arXiv:2201.02177 ↗
- Belkin, M., Hsu, D., Ma, S., & Mandal, S. (2019). Reconciling modern machine-learning practice and the classical bias–variance trade-off. PNAS. arXiv:1812.11118 ↗
- Nakkiran, P., Kaplun, G., Bansal, Y., Yang, T., Barak, B., & Sutskever, I. (2019). Deep Double Descent: Where Bigger Models and More Data Hurt. ICLR 2020. arXiv:1912.02292 ↗
- Nanda, N., Chan, L., Lieberum, T., Smith, J., & Steinhardt, J. (2023). Progress measures for grokking via mechanistic interpretability. ICLR 2023. arXiv:2301.05217 ↗
- Wei, J., Tay, Y., Bommasani, R., et al. (2022). Emergent Abilities of Large Language Models. TMLR 2022. arXiv:2206.07682 ↗
- Schaeffer, R., Miranda, B., & Koyejo, S. (2023). Are Emergent Abilities of Large Language Models a Mirage? NeurIPS 2023. arXiv:2304.15004 ↗