Skip to content

缩放定律(Scaling Laws)

解析 Kaplan 与 Chinchilla 计算最优定律、数据受限缩放、过训练推理最优及测试时计算缩放。

当前:讲解模式 — 侧重直觉建立、生活类比与分步拆解快捷键 M 切换
概念定义 · 什么是 Scaling Laws(缩放定律)?

Scaling Laws(缩放定律) 是大模型领域最著名的经验法则:只要把模型参数量 N、训练数据量 D 和算力预算 C 按正确比例一起放大,模型的预测误差(Loss)就会沿着一条极其平滑、可提前预测的幂律曲线持续下降。

它回答了投入上千万美元训练一个大模型前最值钱的工程问题:手头有一笔固定算力,究竟该练一个“超大模型吃少量数据”,还是“适中模型吃海量数据”,以及推理阶段多花思考时间(Test-Time Compute)能换来多少智能提升。

01 从“经验炼丹”到“花钱前先算准分数” ​

在 2020 年之前,训练神经网络很像一门玄学:改改激活函数、调调层数宽高、换个正则化,不跑到最后谁也不知道结果怎样。可当一次大语言模型预训练动辄要烧掉几千万美元电费和几万张 GPU 卡时,没有人敢闭着眼睛赌运气。

2020 年 OpenAI 的 Kaplan 等人发表了里程碑式的缩放定律论文(arXiv:2001.08361 ↗),给整个行业投下了一颗震撼弹:只要架构没毛病、超参调到位,大模型的验证集损失几乎不挑细枝末节的设计,而是像物理定律一样,随着参数量 N、训练词元数 D 和总算力 C 呈现平滑可预测的幂律下降!

类比 · 造跨海大桥前的缩尺承重实验

过去训模型像盲人摸象,现在有了 缩放定律(Scaling Laws),研发团队就像桥梁工程师:先花不到总预算 1% 的钱,在几千万到十几亿参数的小模型上跑一组不同配比的对照实验,在对数坐标纸上画出一条笔直的趋势线,然后拿尺子往右一延——还没按下万卡集群的启动键,就已经能把 70B 旗舰模型三个月后的最终损失预测到小数点后两位。

核心设问

假设你手里捏着一笔固定的总算力预算 C,究竟该造一个脑容量超大但没看多少书的“天才空壳”(大 N 小 D),还是造一个脑子适中、读书万卷的“平衡学者”(等比 N,D),抑或干脆在毕业上班前把小模型往死里刷题(小 N 超大 D)?

02 四代缩放直觉:脑容量、读书量与考场草稿纸 ​

从 2020 年至今,Scaling Laws 经历了四次极具戏剧性的观念跃迁,用一个“培养全能学者”的故事就能一次串透:

阶段一:Kaplan(2020)→ Chinchilla(2022)——纠正“脑大书少”的浪费 ​

早期 Kaplan 测出算力翻倍时应该把绝大多数预算拿去放大脑容量(N∝C0.73,D∝C0.27),直接催生了 175B 参数却只读了 300B 词元的 GPT-3。

两年后 DeepMind 在 Chinchilla 论文(arXiv:2203.15556 ↗)里发现了 Kaplan 实验的一个隐蔽偏差:当时不管训练步数长短,都用了同一套固定周期的学习率衰减,导致训练中途没退火充分,严重低估了多读书的威力!修正之后,Chinchilla 得出结论:参数量 N 和数据量 D 应当 1:1 等比例同步扩大,黄金配比约为“每 1 个参数配 20 个词元”(D≈20N)。按这条新法则训出的 70B Chinchilla(读了 1.4T 词元),不仅全面打败了四倍大的 280B Gopher,推理开销还直接砍到四分之一。

类比 · 脑容量和读书量的黄金天平

如果把预训练想象成用固定 1000 小时备考百科竞赛:Kaplan 当年以为应该花 900 小时把大脑扩容到极致,只留 100 小时草草翻书;Chinchilla 实测后发现那样大脑九成空间都空着!真正最划算的是把脑容量和阅读量同步拉大,让每 1 个神经元参数大约“消化” 20 个词元的知识,才能在同样算力下考出最高分。

阶段二:推理最优过训练(Over-training)——算清毕业后的“电费账” ​

Chinchilla 看似完美,却只算了上学学费(单次训练算力),完全没算毕业后干活的工资(海量用户推理算力)!Beyond Chinchilla-Optimal (Sardana et al., 2024) ↗ 点破了这层窗户纸:

类比 · 学费一次交,电费天天烧

如果你培养的学者只参加一次考试,按 Chinchilla 20N 配比最省总成本;可如果这位学者毕业后每天要回答全球几亿用户的提问,脑子越小、单次回答越便宜省显存!因此 Meta(LLaMA 3 8B 狂读 15T 词元,D≈1875N)和通义千问(Qwen2.5 读 18T 词元)不约而同选择了极致过训练(Over-training)——宁可上学时多花几倍算力刷题,也要炼出一个身材小巧、上线后极度省钱的精干大脑。

阶段三与四:数据见底 & 考场上发草稿纸 ​

当人类公网高质量语料渐渐见底,数据受限缩放 (Muennighoff et al., 2023) ↗ 给出了一条清醒边界:把优质题库重复刷 4 遍以内 效果几乎等同于新题,可超过十几遍后就会迅速边际归零、沦为死记硬背。

于是 2024 年以 o1 与 DeepSeek-R1 为代表的推理模型推开了第四扇门——测试时计算缩放(Test-Time Compute Scaling, Snell et al., 2024)↗:

类比 · 预训练背书 vs 考场打草稿

过去我们总逼着模型看一眼题就直接脱口而出答案;现在允许它在考场上拿出一叠草稿纸慢慢写思维链、自我验算甚至回溯试错。在数学与编程等可验证难题上,多给草稿纸(增加测试时算力 Ctest)带来的准确率跃升,有时比把脑子造大十倍还管用!

03 把关键公式读成人话 ​

先看奠定现代预训练规划基石的 Chinchilla 三项损失公式:

L(N,D)=E+ANα+BDβ

**把三项损失拆开读成人话:**模型最终的验证集交叉熵损失由三笔账组成:

  • E(不可约熵):自然语言天生的随机性底线(比如“我今天去买了___”,苹果、面包、咖啡都合理,哪怕神仙也不可能把损失降到 0)。
  • A/Nα(脑容量瓶颈):参数量 N 有限导致的“记不住、装不下”的误差。
  • B/Dβ(读书量瓶颈):训练词元 D 有限导致的“没见过、没练熟”的误差。 固定算力 C≈6ND 就像把一张固定面积的被子拉来拉去:只加大 N 就会挤占 D,反之亦然;求导置零恰好就能找到让两项误差握手言和的最优谷底。

再看计入上线服务成本后的 全生命周期总算力公式:

Ctotal=6NDtrain+2NDinfer=2N(3Dtrain+Dinfer)

**把全生命周期公式读成直觉:**结合 矩阵 FLOPs 估算,训练每词元花 6N,推理每词元花 2N。一旦模型面向亿级用户,总推理词元 Dinfer 轻轻松松超过 Dtrain 几十倍,右边的 2NDinfer 立刻成为绝对大头——把 N 压小哪怕一半,省下来的线上算力都够你多训好几万亿训练词元。

04 它在模型里怎么工作 & 与上下游的关系 ​

缩放定律是整座大模型工程金字塔的“顶层作战室”,直接指挥着上下游所有模块:

05 缩放范式速查与三个避坑备忘 ​

缩放范式优化目标核心配比法则典型代表
Kaplan (2020)固定训练算力(旧调度)N∝C0.73,D∝C0.27GPT-3 (175B, 0.3T)
Chinchilla (2022)固定训练算力最优N∝C0.5,D∝C0.5 (D≈20N)Chinchilla (70B, 1.4T)
Over-training (2023+)全生命周期 / 端侧推理最优D≫20N(可达 200N∼2000N)LLaMA 3 8B (15T)、Qwen2.5
数据受限缩放唯一高质量语料见顶重复 ≤4 轮近似无损,此后急剧饱和垂类科学语料训练
Test-Time Scaling固定权重突破难题上限拉长思维链与验证搜索预算 CtestOpenAI o1、DeepSeek-R1
  1. 千万别把 D=20N 当成死教条:它是特定词表、特定语料质量和 Dense 模型下的“仅训练最优解”。只要你换了更高质量的数据、更大的 词表 或 MoE 架构,真实的最优系数都会移动,最好用自家数据跑一组小规模 IsoFLOP 抛物线重新拟合。
  2. 切忌拿固定学习率硬扫 IsoFLOP:如果 100M 小模型和 3B 大模型用同一个学习率和批大小,两端必然有一头欠拟合,拟合出来的幂指数 α,β 会严重跑偏。
  3. 谨防验证集数据泄漏:一旦训练集里混进了验证集的近似重复文档,测出来的不可约熵 E 会虚假偏低,外推曲线看起来一片大好,真上了未见任务却断崖翻车。
  4. 分清“平滑损失”与“表观涌现”:交叉熵损失 L 总是平滑下降的,但像数学选择题准确率这类离散指标,常常在损失跨过某个门槛后才突然起飞。做小模型预测时,应该先用算力预测损失 C→L,再建立损失到下游基准的 L→Score 映射。

需要查阅拉格朗日乘子解析推导、数据受限有效词元衰减公式以及可运行的 Chinchilla 最优求解与 IsoFLOP Huber 拟合 PyTorch 代码?按快捷键 M 或点击顶部 技术 Wiki 即可随时切换。

缩放定律(Scaling Laws)是大语言模型从“经验炼丹”走向“可预测工程科学”的里程碑发现。大量跨数量级实验表明,在架构合理、超参充分调优的前提下,Transformer 语言模型的验证集 交叉熵损失 L 并不强烈依赖于层数与宽度的细微比例,而是作为模型参数量 N、训练数据量(词元数)D 与 计算预算 C≈6ND 的平滑幂律函数(Power Law)可预测地单调下降。这一规律使得研发团队得以在消耗数百万美元启动超大规模训练前,通过小规模实验精准预测最终性能并规划最优资源配比。

直观理解

可以把预训练大模型想象成培养一名百科全书学者:N 是大脑容量,D 是读过的书页数,C 是总学习时间预算。早期 Kaplan 定律认为应该优先把脑子造得极大;Chinchilla 定律发现其实脑子造太大却没时间读书很浪费,最佳配比是“每 1 个参数配大约 20 个词元”;而现代推理最优(Over-training)则更务实——既然这位学者毕业后每天要回答几亿人的提问,宁可上学时让他多刷几倍题(D≫20N),换取一个更小巧、出勤成本极低的精干大脑。

问题动机与演进背景 ​

在 2020 年之前,深度学习社区普遍认为模型设计的关键在于精巧的归纳偏置与架构微调。2020 年 OpenAI 的 Kaplan 等人发表开创性论文,首次量化揭示了模型损失随 N,D,C 跨越六个数量级的幂律下降规律,直接催生了 GPT-3(175B 参数,300B 词元)的诞生。

然而,很快研究者发现 GPT-3、Gopher(280B 参数,300B 词元)等超大模型存在严重的训练不足(Under-trained) 问题。2022 年 DeepMind 的 Chinchilla 论文纠正了 Kaplan 实验中的学习率调度偏差,提出了等比例扩展 N 与 D 的计算最优定律。此后,随着高质量公网数据逼近枯竭、开源模型部署成本凸显,以及推理模型(如 o1、DeepSeek-R1)的兴起,Scaling Laws 进一步演进为数据受限缩放(Data-Constrained Scaling)、推理最优过训练(Inference-Optimal Over-training) 与测试时计算缩放(Test-Time Compute Scaling) 三大现代分支。

核心原理与数学推导 ​

1. Kaplan Scaling Law(2020) ​

Kaplan 等人提出,当另外两个因素不受限时,交叉熵损失与单变量呈幂律关系;对固定总计算预算 C≈6ND,最优分配比例为:

Nopt∝C0.73,Dopt∝C0.27

这意味着算力每扩大 10 倍,模型参数量应扩大约 5.4 倍,而数据量仅需扩大约 1.9 倍。但后来的复现指出 Kaplan 存在两个实验偏差:一是未把词表嵌入参数计入 N,二是对不同预算的训练曲线采用了固定步数的学习率衰减而非针对每个 D 完整退火,从而低估了数据量的边际收益。

2. Chinchilla 计算最优定律(2022) ​

DeepMind 的 Hoffmann 等人训练了超过 400 个参数量横跨 70M∼16B、词元数横跨 5B∼500B 的模型,并确保每次运行都精确匹配余弦学习率退火周期,拟合出著名的三项分解损失公式:

L(N,D)=E+ANα+BDβ

其中 E≈1.69 是自然语言的不可约熵(Irreducible Entropy),ANα 是有限模型容量带来的逼近误差,BDβ 是有限数据与优化步数带来的估计误差。论文拟合的参数为:

A≈406.4,B≈410.7,α≈0.34,β≈0.28

现在利用拉格朗日乘子法,在固定训练算力约束 C=6ND 下最小化 L(N,D)。将 D=C6N 代入损失函数并对 N 求导置零:

∂∂N(ANα+B(6N)βCβ)=−αAN−α−1+βB6βC−βNβ−1=0

解得计算最优的参数量与数据量幂指数:

Nopt(C)∝Ca,Dopt(C)∝Cb,其中 a=βα+β≈0.45∼0.50,b=αα+β≈0.50∼0.55

经验拟合结果给出 a≈0.50,b≈0.50,即参数量与词元数应当同比例缩放,具体工程经验法则约为:

Dopt≈20N

据此,DeepMind 用与 280B Gopher 相同的算力训练了 70B 参数、1.4T 词元的 Chinchilla 模型,在绝大多数基准上全面超越 Gopher,同时推理成本降低至四分之一。

3. 数据受限缩放(Data-Constrained Scaling) ​

当互联网唯一高质量词元数 DU 达到上限,不得不对同一语料重复训练多轮(Multi-epoch)时,Muennighoff 等人(2023)发现重复词元的边际价值随重复次数指数衰减,由此定义有效数据量 D′ 与有效参数量 N′:

D′=DU+UDRD∗(1−e−RD/RD∗)

其中 RD=DDU−1 为重复轮次,RD∗≈15 为半衰期常数。该公式表明:在约 4 轮以内,重复高质量数据的收益接近全新数据;但超过十余轮后,单纯增加重复次数的边际收益将趋近于零,必须转向合成数据或代码/推理数据扩充。

4. 推理最优过训练(Inference-Optimal Over-training) ​

Chinchilla 只最小化单次训练算力 Ctrain≈6ND,却忽略了模型上线后被海量用户调用的推理总算力 Cinfer≈2NDinfer。若预计模型生命周期内服务总词元数为 Dinfer,则联合生命周期总计算预算为:

Ctotal=6NDtrain+2NDinfer=2N(3Dtrain+Dinfer)

当 Dinfer 达到百亿甚至数万亿级别时,减小 N 带来的长期推理成本节省远大于多训练几倍数据的前期一次性投入。因此现代开源模型(如 LLaMA 3 8B 训练了 15T 词元,达到 D≈1875N;Qwen2.5 训练 18T 词元)普遍采用极致的过训练策略,以较小参数规模榨取接近超大模型的性能。

5. 测试时计算缩放(Test-Time Compute Scaling) ​

2024 年起,以 OpenAI o1 与 DeepSeek-R1 为代表的推理模型开启了全新的缩放维度:在固定预训练权重 N 后,允许模型在推理阶段通过长思维链(Chain-of-Thought)、验证器重采样(Best-of-N)或蒙特卡洛树搜索消耗更多 测试时计算算力 Ctest。实验表明,在数学、编程等可验证任务上,模型准确率随 log⁡Ctest 呈现稳定的对数线性提升,使得小模型在充足思考时间下得以击败参数量数倍于己的传统非推理模型。

算法架构 / 数据流图 ​

图表加载中...

复杂度与横向对比表 ​

缩放范式优化目标N 与 D 配比关系优势局限与瓶颈代表模型
Kaplan (2020)固定 Ctrain 最小化 LN∝C0.73,D∝C0.27首次确立幂律可预测性严重训练不足,推理沉重GPT-3 (175B, 0.3T)
Chinchilla (2022)固定 Ctrain 最小化 LN∝C0.5,D∝C0.5 (D≈20N)训练 FLOPs 利用率最高未计入部署推理成本Chinchilla (70B, 1.4T)
Over-training (2023+)固定全生命周期成本 / 端侧部署D≫20N(可达 200N∼2000N)推理极快、显存友好训练总算力极高,受语料质量限制LLaMA 3 (8B, 15T)、Qwen2.5
数据受限缩放固定唯一语料 DU适度重复(≤4 轮)+ 合成数据缓解公网语料瓶颈过度重复易过拟合与记忆化垂类科学大模型
Test-Time Scaling固定模型参数,换取高推理上限增大推理词元与搜索预算 Ctest突破难题推理天花板延迟高、单次问答推理费用昂贵OpenAI o1、DeepSeek-R1

核心 PyTorch / Python 参考实现 ​

python
import math
import torch


def chinchilla_loss(
    n_params: torch.Tensor,
    d_tokens: torch.Tensor,
    e: float = 1.69,
    a: float = 406.4,
    b: float = 410.7,
    alpha: float = 0.34,
    beta: float = 0.28,
) -> torch.Tensor:
    """Chinchilla 参数化交叉熵损失曲面 L(N, D)。"""
    return e + a / (n_params ** alpha) + b / (d_tokens ** beta)


def solve_compute_optimal(
    compute_budget_flops: float,
    a: float = 406.4,
    b: float = 410.7,
    alpha: float = 0.34,
    beta: float = 0.28,
) -> tuple[float, float, float]:
    """在 C = 6ND 约束下,解析求解 Chinchilla 最优 (N_opt, D_opt, L_opt)。"""
    # 由 dL/dN = 0 推得: (alpha * A) * N^(-alpha) = (beta * B) * D^(-beta)
    # 联合 D = C / (6N) 解出闭式解
    g = ((alpha * a) / (beta * b)) ** (1.0 / (alpha + beta))
    n_opt = g * ((compute_budget_flops / 6.0) ** (beta / (alpha + beta)))
    d_opt = compute_budget_flops / (6.0 * n_opt)
    l_opt = chinchilla_loss(torch.tensor(n_opt), torch.tensor(d_opt), a=a, b=b, alpha=alpha, beta=beta).item()
    return n_opt, d_opt, l_opt


def fit_scaling_law_isoflop(
    observations: list[tuple[float, float, float]],  # [(N, D, observed_loss), ...]
    steps: int = 3000,
) -> dict[str, float]:
    """使用 PyTorch L-BFGS + Huber Loss 拟合经验缩放定律参数 (E, A, B, alpha, beta)。"""
    ns = torch.tensor([x[0] for x in observations], dtype=torch.float64)
    ds = torch.tensor([x[1] for x in observations], dtype=torch.float64)
    ys = torch.tensor([x[2] for x in observations], dtype=torch.float64)

    # 在对数空间优化正参数,保证数值非负
    log_e = torch.tensor(math.log(1.5), dtype=torch.float64, requires_grad=True)
    log_a = torch.tensor(math.log(400.0), dtype=torch.float64, requires_grad=True)
    log_b = torch.tensor(math.log(400.0), dtype=torch.float64, requires_grad=True)
    alpha = torch.tensor(0.3, dtype=torch.float64, requires_grad=True)
    beta = torch.tensor(0.3, dtype=torch.float64, requires_grad=True)

    opt = torch.optim.Adam([log_e, log_a, log_b, alpha, beta], lr=1e-2)
    for _ in range(steps):
        opt.zero_grad()
        pred = torch.exp(log_e) + torch.exp(log_a) * (ns ** (-alpha)) + torch.exp(log_b) * (ds ** (-beta))
        loss = torch.nn.functional.huber_loss(pred, ys, delta=1e-3)
        loss.backward()
        opt.step()

    return {
        "E": log_e.exp().item(),
        "A": log_a.exp().item(),
        "B": log_b.exp().item(),
        "alpha": alpha.item(),
        "beta": beta.item(),
    }


if __name__ == "__main__":
    # 估算 1e23 FLOPs (约相当于训练中等规模旗舰模型) 的 Chinchilla 最优配置
    budget = 1e23
    n_opt, d_opt, l_opt = solve_compute_optimal(budget)
    print(f"C=1e23 FLOPs -> N_opt={n_opt/1e9:.2f}B, D_opt={d_opt/1e12:.3f}T, D/N={d_opt/n_opt:.1f}, L={l_opt:.4f}")

    # 构造合成 IsoFLOP 观测点测试参数拟合
    torch.manual_seed(0)
    synth_obs = []
    for c in (1e19, 1e20, 1e21):
        for ratio in (5.0, 15.0, 25.0, 50.0):
            n = math.sqrt(c / (6.0 * ratio))
            d = ratio * n
            true_l = chinchilla_loss(torch.tensor(n), torch.tensor(d)).item()
            synth_obs.append((n, d, true_l + 0.001 * torch.randn(1).item()))
    fitted = fit_scaling_law_isoflop(synth_obs)
    print("拟合参数:", {k: round(v, 3) for k, v in fitted.items()})

工程实践与常见陷阱 ​

工程实践

  1. 使用 IsoFLOP 曲线定位最优点:工业界拟合自家数据与架构的 Scaling Law 时,通常固定若干档算力预算 C1,C2,…,Ck,在每档预算下训练 5~7 个不同 (N,D) 组合的模型,对每条等算力抛物线取谷底 (Nopt(Ci),Dopt(Ci)),再在双对数坐标下线性回归外推至目标大预算。
  2. 用 WSD(Warmup-Stable-Decay)调度降低拟合实验成本:若对每个目标步数都从头跑完整余弦衰减,IsoFLOP 扫描代价高昂;采用 WSD 学习率调度 可在稳定期任意节点分叉快速退火,以极低算力测得多个 D 的真实收敛损失;配合 高质量数据工程 去重过滤与 μP 超参迁移,可大幅提升外推精度。
  3. 分离“预训练损失”与“下游基准涌现”:损失 L 总是平滑下降,但多项选择准确率或精确匹配指标常在跨过某一损失阈值后陡然跃升(表观涌现)。用小模型外推下游能力时,应先建立 C→L 的幂律,再建立 L→Benchmark 的 S 型映射。

常见陷阱

  1. 生搬硬套 D=20N:20N 仅是 DeepMind 在特定分词器、特定数据分布与 Dense Transformer 下针对训练算力最优测得的近似值。不同数据质量、词表大小(每 token 含字节数不同)与 MoE 架构都会显著改变真实的最优系数。
  2. 忽视学习率与批大小的缩放耦合:在 IsoFLOP 实验中若对所有规模硬编码同一套学习率和 Batch Size,大模型或小模型必然欠拟合,导致拟合出的指数 α,β 严重失真。应结合 μP 或按规模经验公式同步调整超参。
  3. 验证集数据污染扭曲不可约熵 E:若预训练语料与验证集存在近似重复(Near-duplicate),会导致估测的 E 偏低、外推曲线过于乐观,在实际未见分布上表现断崖式落差。

延伸阅读与参考论文 ​

  • Kaplan, J., et al. (2020). Scaling Laws for Neural Language Models. arXiv:2001.08361 ↗
  • Hoffmann, J., et al. (2022). Training Compute-Optimal Large Language Models (Chinchilla). NeurIPS 2022. arXiv:2203.15556 ↗
  • Muennighoff, N., et al. (2023). Scaling Data-Constrained Language Models. NeurIPS 2023. arXiv:2305.16264 ↗
  • Sardana, N., et al. (2024). Beyond Chinchilla-Optimal: Accounting for Inference in Language Model Scaling Laws. ICML 2024. arXiv:2401.00448 ↗
  • Snell, C., et al. (2024). Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters. arXiv:2408.03314 ↗