Skip to content

涌现能力、Grokking(顿悟)与双下降(Double Descent)

解析过参数化双下降、Grokking 延迟泛化与电路清理动力学,以及大模型涌现能力与评估指标非线性之争。

当前:讲解模式 — 侧重直觉建立、生活类比与分步拆解快捷键 M 切换
概念定义 · 什么是「涌现能力、Grokking 与双下降」?

它们是大模型时代最颠覆传统直觉的三种泛化现象:双下降指模型参数远远超过数据量后,测试误差不再变差反而再度下降;Grokking(顿悟) 指模型早已把训练集背得滚瓜烂熟却考不了新题,继续苦练很久后某天突然豁然开朗、测试成绩一飞冲天;涌现能力则是大模型变大到某个临界点后,原本完全不会的复杂任务(如多步推理)突然冒出来——不过学界也发现,这其中既有真实的内部“顿悟电路”,也有评测指标放大造成的“视觉悬崖”。

01 为什么经典教科书的“过拟合铁律”在大模型面前失灵了? ​

翻开任何一本十年前的机器学习教科书,第一课都会画一条神圣的 U 形偏差-方差曲线:模型参数太少会欠拟合,参数太多一定会死记硬背(过拟合),所以工程师必须把参数量死死卡在中间的“甜点区”。

可大语言模型直接把这本教科书掀翻了——几百亿、上千亿参数的庞然大物不仅没有烂在过拟合里,反而参数越大、泛化越强!更神奇的是,人们在训练过程中接连撞见了三个怪象:

  1. 模型变大时,测试误差并不是一路变坏,而是先降、飙高、再一路狂降(Double Descent, 2019 ↗);
  2. 在算术任务上,模型早把训练题背成 100 分,验证集一直是 0 分,可坚持多训 100 倍步数后,验证集某天突然垂直飙到 100 分(Grokking, 2022 ↗);
  3. 大模型平时看起来平平无奇,跨过百亿参数门槛后,思维链推理 等能力仿佛一夜之间从石头缝里蹦了出来(Emergent Abilities, 2022 ↗)。
核心设问

为什么把模型造得“远超需要”反而更不容易过拟合?Grokking 漫长的“死记硬背期”里,神经网络脑子底下到底在悄悄酝酿什么?而大模型的“涌现”,究竟是突然开窍的神秘质变,还是评分尺子制造的光学幻觉?

02 三个生活类比:一秒看透双下降、顿悟与涌现 ​

类比一:双下降——“勉强记住”最危险,“空间管够”最优雅 ​

类比 · 用弹簧铁丝穿起桌上的图钉

想象桌上钉了 10 颗略带手抖误差的图钉(带噪样本),你要用一根可弯曲的铁丝穿过它们:

  • 铁丝太硬(欠参数化):根本弯不过去,离图钉太远,误差大。
  • 铁丝刚好有 10 个弯折点(插值阈值):最惨的情况来了!为了死命贴住每一颗带噪声的图钉,铁丝被迫在图钉之间疯狂扭曲出尖刺和剧烈波浪——虽然每颗训练图钉都穿中了,但图钉之外的预测彻底疯掉,测试误差在此处炸出最高峰!
  • 铁丝极其柔软、有 10000 个自由度(严重过参数化):奇妙的事情发生了!既然有无穷多种走法都能穿过那 10 颗图钉,优化器(SGD / Adam)天然偏爱最省力、总弯曲度最小的那条光滑曲线。尖刺消失了,测试误差一路俯冲,甚至比经典甜点区还要低!

类比二:Grokking(顿悟)——房租倒逼学生扔掉死记硬背 ​

为什么模型在模加法 (a+b)mod97 上先死背 1000 步,又白白空转 10000 步才突然考满分?Nanda 等人 (2023) ↗ 解剖了它的神经元,发现背后是一个极具画面感的经济学故事:

类比 · “按笔记页数收房租”的备考学生

把模型想象成要背 97×97 张加法表的学生,优化器里的 权重衰减(Weight Decay) 就像每天按笔记本厚度(权重范数 ∥θ∥22)收高额房租的房东:

  1. 第一阶段(死记硬背):考试逼近,最快的提分办法是把练习题全抄进一本厚字典里。成绩瞬间 100 分,但字典厚得吓人,考场遇到新题直接抓瞎(验证集 0 分)。
  2. 第二阶段(暗中悟道):既然练习题已经满分,每天最大的痛点变成了房东催缴的“笔记房租”!为了省钱,大脑在后台悄悄用三角函数画出了一个精巧的圆周齿轮(傅里叶电路),只需要薄薄两页纸就能算出所有题!
  3. 第三阶段(清理顿悟):齿轮造好后,厚重的死记硬背字典瞬间成了纯负资产,被房租彻底清理归零——学生扔掉字典、轻装上阵,考场新题分数一夜之间从 0% 飙到 100%!

类比三:涌现能力——“全对才给分”的连锁乘法效应 ​

类比 · 10 道门锁的连环闯关游戏

假设你要连续开 10 道门锁,只要有一道出错整局判零分(Exact Match 精确匹配)。随着你开锁手艺平稳进步,单道锁的成功率按 缩放定律 从 50% 慢慢涨到 70%、85%、95%:

  • 单锁 50% 时,全通关概率 0.510≈0.1%(几乎为零);
  • 单锁 70% 时,全通关概率 0.710≈2.8%(看着还是不行);
  • 单锁从 85% 涨到 98% 时,全通关概率瞬间从 19.7% 暴涨到 81.7%!

你看,你的底层手艺其实一直都在平滑进步,但因为裁判用了 “连乘全对才给分”的非线性尺子,在观众眼里就成了“前面纹丝不动,到了某个点突然涌现”的奇迹!(见 Schaeffer et al., 2023 ↗)

03 把关键公式读成人话 ​

先看把“平滑进步”变成“涌现悬崖”的那条核心放大公式:

MEM(C)=exp(−L⋅L(C))

**把非线性涌现公式读成直觉:**这里 L(C) 是大模型随算力 C 平滑下降的交叉熵损失,L 是任务必须连续答对的步数(比如一个 8 位数加法的输出长度)。因为外层套了一个指数放大器,当损失还比较大时,MEM 几乎贴着地板躺平;一旦损失跨过 1/L 附近,曲线就像火箭发射一样瞬间拉起。把指标换回连续的交叉熵或逐字符编辑距离,绝大多数“神秘悬崖”立刻现出平滑原形。

再看驱动 Grokking 发生的双目标拉锯战:

Ltotal(θ)=LCE(θ;Dtrain)+λ2∥θ∥22

**把 Grokking 动力学公式读成直觉:**前半项逼着模型先把训练题做对,后半项(优化器 里的权重衰减)不断给所有参数“收房租”。死记硬背的查表方案虽然上手快,但参数范数 ∥θ∥22 太大、房租太贵;真正泛化的规则电路虽然难找,却极其紧凑省空间。只要持续训练足够久,房租终将把死记硬背淘汰出局,把紧凑的泛化电路推上王座!

04 它们和大模型工程有什么关系? ​

别以为这些只是理论家的纸上谈兵,它们直接影响着现代大模型训练与评测的日常决策:

  • 预训练为何敢狂堆参数:双下降理论给“超大规模过参数化”发了通行证——只要配合合理的 μP 初始化、数据清洗与优化器隐式正则,模型越大越容易找到平滑泛化解,而不必被老式 U 形曲线吓住。
  • 区分“假涌现”和“真顿悟”:Schaeffer et al. (2023) ↗ 并非否认一切跃变——机制可解释性研究已经证实,当两层以上 Transformer 跨越某个训练步数时,内部会真实发生 归纳头(Induction Heads) 的电路自组织相变,让模型真正获得上下文学习能力。两类现象并存,需要不同手段监测。
  • 给预训练监控装上“透视镜”:在大模型跑了上万步、下游 Exact Match 依然纹丝不动时,绝不能急着砍实验——盯紧连续的验证交叉熵、权重范数以及内部电路进度指标,往往能提前看到“风暴前的平静”。

05 现象对比速查表 & 避坑指南 ​

现象表面奇观核心幕后推手看待姿势
双下降(Double Descent)参数越过样本数后误差先炸后降奇异值放大噪声 → 过参数化最小范数平滑处于临界容量最危险,要么清脏数据加正则,要么扩规模
Grokking(顿悟)训练集早 100%,验证集滞后暴涨权重衰减淘汰高范数死记硬背,孕育紧凑电路小算法/推理微调别急着早停,权重衰减是关键推手
表面涌现 vs 真实相变跨越规模门槛后任务分数骤然起飞多步连乘指标放大 + 局部电路(如归纳头)形成用连续 Loss 预判趋势,用电路探针诊断真实质变

三个实战避坑提醒:

  1. 别用 Exact Match 预测 Scaling Laws:拿“全对才给分”的离散指标去外推大模型的未来能力,极易在起飞前误判为“毫无希望”,也极易在起飞后神化成“玄学觉醒”,务必同时盯住连续对数似然。
  2. 数据脏噪声会让双下降尖峰暴涨:模型正好卡在插值阈值时,训练集里的错标样本会被放大成灾难性测试误差,基准评估与数据清洗 是压平尖峰的特效药。
  3. 复现 Grokking 千万别关掉 Weight Decay:把 weight_decay 设成 0,模型背完题就躺平了,失去“房租压力”后,可能训到天荒地老也等不来顿悟时刻。

需要查阅 Marchenko–Pastur 随机矩阵方差推导、傅里叶乘法电路恒等式以及完整的模加法 Grokking PyTorch 复现代码?按快捷键 M 或点击顶部 技术 Wiki 随时切换。

经典统计学习理论曾断言:模型参数过多必然导致过拟合、损失曲线遵循平滑渐变。然而现代深度学习与大语言模型反复展示出三种违背经典直觉的非单调或陡变泛化现象——参数量远超样本数后测试误差再度下降的双下降(Double Descent)、训练准确率早已达到 100% 却在数万步之后突然泛化的 Grokking(顿悟),以及大模型跨越规模门槛后在下游任务上骤然跃升的涌现能力(Emergent Abilities)。厘清这三者的内在机理,是理解大模型究竟在“死记硬背”还是“学会泛化规则”的关键。

直观理解

经典理论觉得模型像装行李的行李箱,装太大(参数太多)一定会塞满没用的杂物(过拟合)。但真实深度网络更像一名刷题备考的学生:双下降说明当脑容量远远大于题库时,他反而不再死磕刁钻的凑巧解法,而是找到了最简洁优雅的通解;Grokking 则是他早就把练习册背得滚瓜烂熟(训练 100%),却在“精简笔记”(权重衰减)的持续倒逼下,某天突然扔掉死记硬背的查表法、顿悟了背后的数学公式;而涌现则是外界看他成绩单的视角——平时每步只多懂一点点,可考试按“全对才给分”算总分时,分数线就会在某个临界点突然一飞冲天。

起源背景与演进脉络 ​

  1. 从 U 形偏差-方差权衡到现代双下降(2018–2019):经典统计学认为模型复杂度增大时,偏差下降、方差上升,测试误差呈 U 形曲线。2018 年 Belkin 等人提出现代双下降曲线,指出 U 形曲线仅覆盖“欠参数化区间”;一旦跨过训练误差归零的插值阈值(Interpolation Threshold),测试误差会先急剧飙升至峰值,随后随着模型继续变大而再次单调下降,甚至远低于经典甜点区。Nakkiran 等人(2019)进一步在 ResNet 与 Transformer 上发现,双下降不仅随模型大小出现,还随训练轮数(Epoch-wise) 与数据量(Sample-wise) 同步显现。
  2. Grokking 延迟泛化与机制解剖(2022–2023):2022 年 OpenAI 的 Power 等人在模运算等小型算法数据集上训练 Transformer 时发现奇观:模型在极早期就完美记住了训练集(训练准确率 100%,验证准确率接近随机猜测),但在继续训练数十倍甚至上百倍步数后,验证准确率竟突然从 0% 陡升至 100%。2023 年 Nanda 等人用机制可解释性 彻底拆解了模加法 Grokking,证实其本质是权重衰减驱动的连续电路演化与记忆组件清理。
  3. 大模型涌现能力与“海市蜃楼”之争(2022–2023):2022 年 Wei 等人总结了大模型在多步算术、指令遵循与 思维链推理 等任务上“小模型几乎为零、跨越阈值骤然爆发”的涌现能力。2023 年 Schaeffer 等人发表极具影响力的反驳论文,证明大量所谓的“涌现悬崖”实际上是研究者选用了非线性、不连续评估指标(如 Exact Match)造成的视觉放大效应——当换回连续指标时,性能提升往往完全平滑地服从 缩放定律。这场争论推动社区严格区分指标诱导的表面跃变与底层内部电路的真实相变。

核心原理与数学推导 ​

1. 过参数化双下降与插值阈值奇点 ​

考虑高维线性回归模型 y=x⊤β∗+ε,其中 x∈Rp,n 条训练样本组成设计矩阵 X∈Rn×p,噪声方差为 σ2,定义过参数化比率 γ=p/n。最小范数插值解为 β^=X+y。由随机矩阵理论(Marchenko–Pastur 定律),当样本特征各向同性时,测试期望超额方差满足渐近解析式:

Var(β^)≈{σ2γ1−γ,γ<1(欠参数化区)σ21γ−1,γ>1(过参数化区)

当 γ→1(即有效参数量逼近样本量 p≈n,插值阈值)时,矩阵 X 出现极小的非零奇异值 σmin(X)→0。模型为了强行零误差拟合全部带噪训练点,被迫沿着这些病态小奇异值方向施加极大权重,导致测试方差 ∝1/|1−γ|→+∞。一旦继续增加参数使 γ≫1,零空间维度大幅扩张,梯度下降的隐式最小范数偏置(Implicit Regularization) 可以在无数插值解中挑出欧氏范数 ∥β^∥2 最小、最平滑的那个解,将噪声均摊到高维冗余自由度中,实现良性过拟合(Benign Overfitting) 与测试风险的二次下降。

2. Grokking 的三相动力学与傅里叶电路 ​

在模加法任务 (a+b)modP=c 中,带解耦权重衰减(Weight Decay)的优化目标为:

Ltotal(θ)=LCE(θ;Dtrain)+λ2∥θ∥22

为什么模型不一开始就学泛化规则,而必须先经历漫长的过拟合?这源于优化速度与模型复杂度(参数范数)的错位竞争:

  • 阶段一:记忆相(Memorization):死记硬背训练集只需构造稀疏查表映射,梯度方向极其直接,因此模型迅速将 LCE→0;但查表记忆需要存储海量独立键值对,参数范数 ∥θmem∥2 极大。
  • 阶段二:电路形成相(Circuit Formation):一旦训练交叉熵趋近于零,梯度主导权移交给正则项 λ2∥θ∥22。Nanda 等人(2023)发现,单层 Transformer 会自发将整数词嵌入映射到少数关键频率 ωk=2πkP 的圆周表示上,并利用注意力与 MLP 实现三角恒等式:
cos(ωk(a+b−c))=cos⁡(ωka)cos⁡(ωkb)cos⁡(ωkc)−sin⁡(ωka)sin⁡(ωkb)cos⁡(ωkc)+sin⁡(ωk(a+b))sin⁡(ωkc)

该傅里叶乘法电路(Fourier Multiplication Algorithm) 仅需极少自由度就能精确计算全部 P2 对组合,其参数范数满足 ∥θgen∥2≪∥θmem∥2。尽管此时验证集外部准确率尚未抬头,内部用于衡量傅里叶分量纯净度的限制损失(Restricted Loss) 已在持续平稳下降。

  • 阶段三:清理相(Cleanup):当泛化电路足以支撑训练准确度后,权重衰减持续削弱高范数的记忆权重直至其彻底归零;总权重范数骤降,验证准确率在外部呈现近乎垂直的“顿悟”跃升。

3. 涌现能力的非线性指标放大模型 ​

设模型随计算量 C 增长,单词元交叉熵损失按 缩放定律 平滑衰减:L(C)=(C/C0)−α+L∞,对应单步输出正确词元的概率近似为 p(C)=exp⁡(−L(C))。若某下游任务要求连续输出 L 个词元全部精确匹配(如 L 位整数加法的 Exact Match),其任务准确率变为单步概率的 L 次幂:

MEM(C)=∏t=1Lpt(C)≈exp(−L⋅L(C))

对该指标关于损失求导可知 dMEMd(−L)=L⋅exp⁡(−LL):当 L 较大(例如多步算术或长链推理)且 L(C)≫1/L 时,MEM 被死死压制在 0 附近;一旦计算量跨过 L(C)≈1/L 的临界区,指数函数瞬间拉出极其陡峭的 S 形悬崖。因此,连续平滑的底层能力增长 + 非线性/多步串联评估指标,足以在宏观基准上制造出剧烈的涌现假象;但同时,诸如双层以上 Transformer 中 归纳头(Induction Heads) 的自组织形成,则被证实属于即便用连续指标度量依然存在的真实微观结构相变。

架构 / 数据流图 ​

图表加载中...

相关模式与横向对比表 ​

现象触发维度表面特征底层核心机理工程启示
模型/轮数双下降参数量 P 或训练轮数 T风险先降、在插值阈值飙升、再降病态奇异值放大噪声 vs 过参数化最小范数隐式正则处于临界容量时加大正则或扩大规模反而更稳
Grokking(顿悟)远超拟合点后的训练步数训练早已 100%,验证延迟百倍步数暴涨高范数记忆解与低范数泛化电路在 Weight Decay 下竞争不可仅凭训练误差归零或早期验证平台仓促早停
指标诱导涌现算力 C / 参数量 N跨规模门槛后基准分从 0 突然起飞平滑交叉熵经 pL、多选题阈值等非线性指标映射预训练监控必须看连续损失/Brier 分,勿单看 EM
真实结构相变规模或训练步数临界点连续损失曲线出现局部拐点(Bump)跨层协同电路形成(如 归纳头 驱动上下文学习)可用进度度量(Progress Measures)提前预警

核心 PyTorch 参考实现 ​

以下代码用极简单层 Transformer 在模加法 (a+b)mod97 上复现 Grokking 现象:采用较大解耦权重衰减(weight_decay=1.0),读者可直接观察“训练准确率极快破 99% → 验证集停滞 → 权重范数下降且验证集突然跃升”的完整相变轨迹。

python
import torch
import torch.nn as nn
import torch.nn.functional as F


class ModularTransformer(nn.Module):
    """极简单层 Transformer,用于复现模加法 (a + b) mod P 的 Grokking。"""

    def __init__(self, p: int = 97, d_model: int = 128, n_heads: int = 4):
        super().__init__()
        # 词表: 0..P-1 表示整数,P 表示等号 '='
        self.tok_emb = nn.Embedding(p + 1, d_model)
        self.pos_emb = nn.Parameter(torch.randn(1, 3, d_model) * 0.02)
        self.attn = nn.MultiheadAttention(d_model, n_heads, batch_first=True)
        self.ffn = nn.Sequential(
            nn.Linear(d_model, 4 * d_model),
            nn.ReLU(),
            nn.Linear(4 * d_model, d_model),
        )
        self.head = nn.Linear(d_model, p, bias=False)

    def forward(self, x: torch.Tensor) -> torch.Tensor:
        # 输入序列固定为 [a, b, '='],取末位表示预测 (a + b) mod P
        h = self.tok_emb(x) + self.pos_emb
        attn_out, _ = self.attn(h, h, h, need_weights=False)
        h = h + attn_out
        h = h + self.ffn(h)
        return self.head(h[:, -1, :])


def build_mod_add_dataset(p: int = 97, train_frac: float = 0.3, seed: int = 42):
    g = torch.Generator().manual_seed(seed)
    pairs = torch.cartesian_prod(torch.arange(p), torch.arange(p))  # [P^2, 2]
    eq_tok = torch.full((pairs.size(0), 1), p, dtype=torch.long)
    xs = torch.cat([pairs, eq_tok], dim=1)                          # [P^2, 3]
    ys = (pairs[:, 0] + pairs[:, 1]) % p

    perm = torch.randperm(xs.size(0), generator=g)
    split = int(train_frac * xs.size(0))
    return xs[perm[:split]], ys[perm[:split]], xs[perm[split:]], ys[perm[split:]]


def train_grokking(steps: int = 15000, p: int = 97, wd: float = 1.0):
    device = "cuda" if torch.cuda.is_available() else "cpu"
    x_tr, y_tr, x_va, y_va = [t.to(device) for t in build_mod_add_dataset(p=p)]
    model = ModularTransformer(p=p).to(device)
    # 全批量 + 强解耦权重衰减是稳定触发 Grokking 的关键配置
    opt = torch.optim.AdamW(model.parameters(), lr=1e-3, betas=(0.9, 0.98), weight_decay=wd)

    for step in range(1, steps + 1):
        logits = model(x_tr)
        loss = F.cross_entropy(logits, y_tr)
        opt.zero_grad()
        loss.backward()
        opt.step()

        if step in {100, 500, 2000, 5000, 10000, steps}:
            with torch.no_grad():
                tr_acc = (logits.argmax(-1) == y_tr).float().mean().item()
                va_logits = model(x_va)
                va_acc = (va_logits.argmax(-1) == y_va).float().mean().item()
                l2_norm = sum(param.pow(2).sum() for param in model.parameters()).sqrt().item()
            print(f"Step {step:5d} | Loss {loss.item():.4f} | "
                  f"TrainAcc {tr_acc:.3f} | ValAcc {va_acc:.3f} | L2Norm {l2_norm:.2f}")


if __name__ == "__main__":
    # 完整复现需约 10k-15k steps (GPU 约十几秒); 此处设 200 步快速验证形状与前向逻辑
    train_grokking(steps=200, p=97, wd=1.0)

工程实践与常见陷阱 ​

工程实践

  1. 用连续代理指标追踪大规模预训练进展:在预训练和 微调评估 中,面对多步推理或复杂代码任务,除了报告 Exact Match / Pass@1,务必同步追踪验证集交叉熵、Brier Score 或正确选项对数概率——它们能在下游离散得分还停留在 0% 时,提前揭示模型内部能力是否在平稳爬坡。
  2. 理解 Weight Decay 的双刃剑作用:在算法推理与小样本精调任务中,适度提高解耦权重衰减(weight_decay)与采用 μP 初始化 有助于抑制纯死记硬背、促使特征学习向低复杂度通解收敛;但在海量单轮(1-epoch)预训练中,数据极少重复,过强权重衰减反而会限制记忆容量。
  3. 跨过插值阈值审视训练曲线:在多轮微调(Multi-epoch SFT)或中等规模数据训练中,若观察到验证损失先升后降,不必立刻判定模型彻底崩溃——检查是否正处于 Epoch-wise Double Descent 的插值峰值区,适当调强正则或观察权重范数变化往往比盲目砍掉训练更有效。

常见陷阱

  1. 将基准测试的非线性陡变误读为“不可预测的神秘质变”:许多宣称大模型“突然觉醒某种能力”的曲线,仅仅源于评测脚本把连续概率强行二值化(如完全匹配才算对)。评估缩放趋势时,绝不能用不连续指标直接外推奇点。
  2. 忽视训练数据的标签噪声与双下降峰值耦合:双下降的插值峰值高度与训练数据中的标签噪声方差 σ2 成正比。数据清洗不彻底时,处于临界规模的模型极易在峰值区严重退化,清理脏标签是抹平双下降尖峰最直接的手段。
  3. 在无权重衰减且未做归一化的设置下期待复现 Grokking:若将上述代码中的 weight_decay 设为 0.0,模型在记忆相完成后缺乏驱逐高范数查表权重的动力学推力,Grokking 往往会被推迟数个数量级甚至完全不发生。

参考文献 ​

  • Power, A., Burda, Y., Edwards, H., Babuschkin, I., & Misra, V. (2022). Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets. arXiv:2201.02177 ↗
  • Belkin, M., Hsu, D., Ma, S., & Mandal, S. (2019). Reconciling modern machine-learning practice and the classical bias–variance trade-off. PNAS. arXiv:1812.11118 ↗
  • Nakkiran, P., Kaplun, G., Bansal, Y., Yang, T., Barak, B., & Sutskever, I. (2019). Deep Double Descent: Where Bigger Models and More Data Hurt. ICLR 2020. arXiv:1912.02292 ↗
  • Nanda, N., Chan, L., Lieberum, T., Smith, J., & Steinhardt, J. (2023). Progress measures for grokking via mechanistic interpretability. ICLR 2023. arXiv:2301.05217 ↗
  • Wei, J., Tay, Y., Bommasani, R., et al. (2022). Emergent Abilities of Large Language Models. TMLR 2022. arXiv:2206.07682 ↗
  • Schaeffer, R., Miranda, B., & Koyejo, S. (2023). Are Emergent Abilities of Large Language Models a Mirage? NeurIPS 2023. arXiv:2304.15004 ↗