外观
概念定义 · 什么是 Scaling Laws(缩放定律)?
Scaling Laws(缩放定律) 是大模型领域最著名的经验法则:只要把模型参数量
它回答了投入上千万美元训练一个大模型前最值钱的工程问题:手头有一笔固定算力,究竟该练一个“超大模型吃少量数据”,还是“适中模型吃海量数据”,以及推理阶段多花思考时间(Test-Time Compute)能换来多少智能提升。
01 从“经验炼丹”到“花钱前先算准分数”
在 2020 年之前,训练神经网络很像一门玄学:改改激活函数、调调层数宽高、换个正则化,不跑到最后谁也不知道结果怎样。可当一次大语言模型预训练动辄要烧掉几千万美元电费和几万张 GPU 卡时,没有人敢闭着眼睛赌运气。
2020 年 OpenAI 的 Kaplan 等人发表了里程碑式的缩放定律论文(arXiv:2001.08361 ↗),给整个行业投下了一颗震撼弹:只要架构没毛病、超参调到位,大模型的验证集损失几乎不挑细枝末节的设计,而是像物理定律一样,随着参数量
类比 · 造跨海大桥前的缩尺承重实验
过去训模型像盲人摸象,现在有了 缩放定律(Scaling Laws),研发团队就像桥梁工程师:先花不到总预算 1% 的钱,在几千万到十几亿参数的小模型上跑一组不同配比的对照实验,在对数坐标纸上画出一条笔直的趋势线,然后拿尺子往右一延——还没按下万卡集群的启动键,就已经能把 70B 旗舰模型三个月后的最终损失预测到小数点后两位。
核心设问
假设你手里捏着一笔固定的总算力预算
02 四代缩放直觉:脑容量、读书量与考场草稿纸
从 2020 年至今,Scaling Laws 经历了四次极具戏剧性的观念跃迁,用一个“培养全能学者”的故事就能一次串透:
阶段一:Kaplan(2020)→ Chinchilla(2022)——纠正“脑大书少”的浪费
早期 Kaplan 测出算力翻倍时应该把绝大多数预算拿去放大脑容量(
两年后 DeepMind 在 Chinchilla 论文(arXiv:2203.15556 ↗)里发现了 Kaplan 实验的一个隐蔽偏差:当时不管训练步数长短,都用了同一套固定周期的学习率衰减,导致训练中途没退火充分,严重低估了多读书的威力!修正之后,Chinchilla 得出结论:参数量
类比 · 脑容量和读书量的黄金天平
如果把预训练想象成用固定 1000 小时备考百科竞赛:Kaplan 当年以为应该花 900 小时把大脑扩容到极致,只留 100 小时草草翻书;Chinchilla 实测后发现那样大脑九成空间都空着!真正最划算的是把脑容量和阅读量同步拉大,让每 1 个神经元参数大约“消化” 20 个词元的知识,才能在同样算力下考出最高分。
阶段二:推理最优过训练(Over-training)——算清毕业后的“电费账”
Chinchilla 看似完美,却只算了上学学费(单次训练算力),完全没算毕业后干活的工资(海量用户推理算力)!Beyond Chinchilla-Optimal (Sardana et al., 2024) ↗ 点破了这层窗户纸:
类比 · 学费一次交,电费天天烧
如果你培养的学者只参加一次考试,按 Chinchilla
阶段三与四:数据见底 & 考场上发草稿纸
当人类公网高质量语料渐渐见底,数据受限缩放 (Muennighoff et al., 2023) ↗ 给出了一条清醒边界:把优质题库重复刷 4 遍以内 效果几乎等同于新题,可超过十几遍后就会迅速边际归零、沦为死记硬背。
于是 2024 年以 o1 与 DeepSeek-R1 为代表的推理模型推开了第四扇门——测试时计算缩放(Test-Time Compute Scaling, Snell et al., 2024)↗:
类比 · 预训练背书 vs 考场打草稿
过去我们总逼着模型看一眼题就直接脱口而出答案;现在允许它在考场上拿出一叠草稿纸慢慢写思维链、自我验算甚至回溯试错。在数学与编程等可验证难题上,多给草稿纸(增加测试时算力
03 把关键公式读成人话
先看奠定现代预训练规划基石的 Chinchilla 三项损失公式:
**把三项损失拆开读成人话:**模型最终的验证集交叉熵损失由三笔账组成:
(不可约熵):自然语言天生的随机性底线(比如“我今天去买了___”,苹果、面包、咖啡都合理,哪怕神仙也不可能把损失降到 0)。 (脑容量瓶颈):参数量 有限导致的“记不住、装不下”的误差。 (读书量瓶颈):训练词元 有限导致的“没见过、没练熟”的误差。 固定算力 就像把一张固定面积的被子拉来拉去:只加大 就会挤占 ,反之亦然;求导置零恰好就能找到让两项误差握手言和的最优谷底。
再看计入上线服务成本后的 全生命周期总算力公式:
**把全生命周期公式读成直觉:**结合 矩阵 FLOPs 估算,训练每词元花
04 它在模型里怎么工作 & 与上下游的关系
缩放定律是整座大模型工程金字塔的“顶层作战室”,直接指挥着上下游所有模块:
- 上游算力与指标地基:算力约束
来自 线性代数与张量 FLOPs,纵轴被拟合的损失 是 信息论交叉熵(跨词表对比则用 BPB)。 - 倒逼数据与调度革命:过训练范式需要几十万亿级去重、高密度语料,直接拉动了 预训练数据工程 与合成数据飞跃;而为了用极低成本测出不同
的收敛曲线,工业界发明了支持随时分叉退火的 WSD 学习率调度,并常配合 超参迁移 消除跨规模调参噪音。 - 架构与推理新战场:MoE 混合专家架构 打破了“总参数 = 单步算力”的死绑,改写了稀疏缩放曲线;而 Test-Time Scaling 则把战火引向了 思维链与测试时计算 与更高效的 推理采样解码。
05 缩放范式速查与三个避坑备忘
| 缩放范式 | 优化目标 | 核心配比法则 | 典型代表 |
|---|---|---|---|
| Kaplan (2020) | 固定训练算力(旧调度) | GPT-3 (175B, 0.3T) | |
| Chinchilla (2022) | 固定训练算力最优 | Chinchilla (70B, 1.4T) | |
| Over-training (2023+) | 全生命周期 / 端侧推理最优 | LLaMA 3 8B (15T)、Qwen2.5 | |
| 数据受限缩放 | 唯一高质量语料见顶 | 重复 | 垂类科学语料训练 |
| Test-Time Scaling | 固定权重突破难题上限 | 拉长思维链与验证搜索预算 | OpenAI o1、DeepSeek-R1 |
- 千万别把
当成死教条:它是特定词表、特定语料质量和 Dense 模型下的“仅训练最优解”。只要你换了更高质量的数据、更大的 词表 或 MoE 架构,真实的最优系数都会移动,最好用自家数据跑一组小规模 IsoFLOP 抛物线重新拟合。 - 切忌拿固定学习率硬扫 IsoFLOP:如果 100M 小模型和 3B 大模型用同一个学习率和批大小,两端必然有一头欠拟合,拟合出来的幂指数
会严重跑偏。 - 谨防验证集数据泄漏:一旦训练集里混进了验证集的近似重复文档,测出来的不可约熵
会虚假偏低,外推曲线看起来一片大好,真上了未见任务却断崖翻车。 - 分清“平滑损失”与“表观涌现”:交叉熵损失
总是平滑下降的,但像数学选择题准确率这类离散指标,常常在损失跨过某个门槛后才突然起飞。做小模型预测时,应该先用算力预测损失 ,再建立损失到下游基准的 映射。
需要查阅拉格朗日乘子解析推导、数据受限有效词元衰减公式以及可运行的 Chinchilla 最优求解与 IsoFLOP Huber 拟合 PyTorch 代码?按快捷键
M或点击顶部技术 Wiki即可随时切换。
缩放定律(Scaling Laws)是大语言模型从“经验炼丹”走向“可预测工程科学”的里程碑发现。大量跨数量级实验表明,在架构合理、超参充分调优的前提下,Transformer 语言模型的验证集 交叉熵损失
直观理解
可以把预训练大模型想象成培养一名百科全书学者:
问题动机与演进背景
在 2020 年之前,深度学习社区普遍认为模型设计的关键在于精巧的归纳偏置与架构微调。2020 年 OpenAI 的 Kaplan 等人发表开创性论文,首次量化揭示了模型损失随
然而,很快研究者发现 GPT-3、Gopher(280B 参数,300B 词元)等超大模型存在严重的训练不足(Under-trained) 问题。2022 年 DeepMind 的 Chinchilla 论文纠正了 Kaplan 实验中的学习率调度偏差,提出了等比例扩展
核心原理与数学推导
1. Kaplan Scaling Law(2020)
Kaplan 等人提出,当另外两个因素不受限时,交叉熵损失与单变量呈幂律关系;对固定总计算预算
这意味着算力每扩大
2. Chinchilla 计算最优定律(2022)
DeepMind 的 Hoffmann 等人训练了超过 400 个参数量横跨
其中
现在利用拉格朗日乘子法,在固定训练算力约束
解得计算最优的参数量与数据量幂指数:
经验拟合结果给出
据此,DeepMind 用与 280B Gopher 相同的算力训练了 70B 参数、1.4T 词元的 Chinchilla 模型,在绝大多数基准上全面超越 Gopher,同时推理成本降低至四分之一。
3. 数据受限缩放(Data-Constrained Scaling)
当互联网唯一高质量词元数
其中
4. 推理最优过训练(Inference-Optimal Over-training)
Chinchilla 只最小化单次训练算力
当
5. 测试时计算缩放(Test-Time Compute Scaling)
2024 年起,以 OpenAI o1 与 DeepSeek-R1 为代表的推理模型开启了全新的缩放维度:在固定预训练权重
算法架构 / 数据流图
图表加载中...
复杂度与横向对比表
| 缩放范式 | 优化目标 | 优势 | 局限与瓶颈 | 代表模型 | |
|---|---|---|---|---|---|
| Kaplan (2020) | 固定 | 首次确立幂律可预测性 | 严重训练不足,推理沉重 | GPT-3 (175B, 0.3T) | |
| Chinchilla (2022) | 固定 | 训练 FLOPs 利用率最高 | 未计入部署推理成本 | Chinchilla (70B, 1.4T) | |
| Over-training (2023+) | 固定全生命周期成本 / 端侧部署 | 推理极快、显存友好 | 训练总算力极高,受语料质量限制 | LLaMA 3 (8B, 15T)、Qwen2.5 | |
| 数据受限缩放 | 固定唯一语料 | 适度重复( | 缓解公网语料瓶颈 | 过度重复易过拟合与记忆化 | 垂类科学大模型 |
| Test-Time Scaling | 固定模型参数,换取高推理上限 | 增大推理词元与搜索预算 | 突破难题推理天花板 | 延迟高、单次问答推理费用昂贵 | OpenAI o1、DeepSeek-R1 |
核心 PyTorch / Python 参考实现
python
import math
import torch
def chinchilla_loss(
n_params: torch.Tensor,
d_tokens: torch.Tensor,
e: float = 1.69,
a: float = 406.4,
b: float = 410.7,
alpha: float = 0.34,
beta: float = 0.28,
) -> torch.Tensor:
"""Chinchilla 参数化交叉熵损失曲面 L(N, D)。"""
return e + a / (n_params ** alpha) + b / (d_tokens ** beta)
def solve_compute_optimal(
compute_budget_flops: float,
a: float = 406.4,
b: float = 410.7,
alpha: float = 0.34,
beta: float = 0.28,
) -> tuple[float, float, float]:
"""在 C = 6ND 约束下,解析求解 Chinchilla 最优 (N_opt, D_opt, L_opt)。"""
# 由 dL/dN = 0 推得: (alpha * A) * N^(-alpha) = (beta * B) * D^(-beta)
# 联合 D = C / (6N) 解出闭式解
g = ((alpha * a) / (beta * b)) ** (1.0 / (alpha + beta))
n_opt = g * ((compute_budget_flops / 6.0) ** (beta / (alpha + beta)))
d_opt = compute_budget_flops / (6.0 * n_opt)
l_opt = chinchilla_loss(torch.tensor(n_opt), torch.tensor(d_opt), a=a, b=b, alpha=alpha, beta=beta).item()
return n_opt, d_opt, l_opt
def fit_scaling_law_isoflop(
observations: list[tuple[float, float, float]], # [(N, D, observed_loss), ...]
steps: int = 3000,
) -> dict[str, float]:
"""使用 PyTorch L-BFGS + Huber Loss 拟合经验缩放定律参数 (E, A, B, alpha, beta)。"""
ns = torch.tensor([x[0] for x in observations], dtype=torch.float64)
ds = torch.tensor([x[1] for x in observations], dtype=torch.float64)
ys = torch.tensor([x[2] for x in observations], dtype=torch.float64)
# 在对数空间优化正参数,保证数值非负
log_e = torch.tensor(math.log(1.5), dtype=torch.float64, requires_grad=True)
log_a = torch.tensor(math.log(400.0), dtype=torch.float64, requires_grad=True)
log_b = torch.tensor(math.log(400.0), dtype=torch.float64, requires_grad=True)
alpha = torch.tensor(0.3, dtype=torch.float64, requires_grad=True)
beta = torch.tensor(0.3, dtype=torch.float64, requires_grad=True)
opt = torch.optim.Adam([log_e, log_a, log_b, alpha, beta], lr=1e-2)
for _ in range(steps):
opt.zero_grad()
pred = torch.exp(log_e) + torch.exp(log_a) * (ns ** (-alpha)) + torch.exp(log_b) * (ds ** (-beta))
loss = torch.nn.functional.huber_loss(pred, ys, delta=1e-3)
loss.backward()
opt.step()
return {
"E": log_e.exp().item(),
"A": log_a.exp().item(),
"B": log_b.exp().item(),
"alpha": alpha.item(),
"beta": beta.item(),
}
if __name__ == "__main__":
# 估算 1e23 FLOPs (约相当于训练中等规模旗舰模型) 的 Chinchilla 最优配置
budget = 1e23
n_opt, d_opt, l_opt = solve_compute_optimal(budget)
print(f"C=1e23 FLOPs -> N_opt={n_opt/1e9:.2f}B, D_opt={d_opt/1e12:.3f}T, D/N={d_opt/n_opt:.1f}, L={l_opt:.4f}")
# 构造合成 IsoFLOP 观测点测试参数拟合
torch.manual_seed(0)
synth_obs = []
for c in (1e19, 1e20, 1e21):
for ratio in (5.0, 15.0, 25.0, 50.0):
n = math.sqrt(c / (6.0 * ratio))
d = ratio * n
true_l = chinchilla_loss(torch.tensor(n), torch.tensor(d)).item()
synth_obs.append((n, d, true_l + 0.001 * torch.randn(1).item()))
fitted = fit_scaling_law_isoflop(synth_obs)
print("拟合参数:", {k: round(v, 3) for k, v in fitted.items()})工程实践与常见陷阱
工程实践
- 使用 IsoFLOP 曲线定位最优点:工业界拟合自家数据与架构的 Scaling Law 时,通常固定若干档算力预算
,在每档预算下训练 5~7 个不同 组合的模型,对每条等算力抛物线取谷底 ,再在双对数坐标下线性回归外推至目标大预算。 - 用 WSD(Warmup-Stable-Decay)调度降低拟合实验成本:若对每个目标步数都从头跑完整余弦衰减,IsoFLOP 扫描代价高昂;采用 WSD 学习率调度 可在稳定期任意节点分叉快速退火,以极低算力测得多个
的真实收敛损失;配合 高质量数据工程 去重过滤与 超参迁移,可大幅提升外推精度。 - 分离“预训练损失”与“下游基准涌现”:损失
总是平滑下降,但多项选择准确率或精确匹配指标常在跨过某一损失阈值后陡然跃升(表观涌现)。用小模型外推下游能力时,应先建立 的幂律,再建立 的 S 型映射。
常见陷阱
- 生搬硬套
: 仅是 DeepMind 在特定分词器、特定数据分布与 Dense Transformer 下针对训练算力最优测得的近似值。不同数据质量、词表大小(每 token 含字节数不同)与 MoE 架构都会显著改变真实的最优系数。 - 忽视学习率与批大小的缩放耦合:在 IsoFLOP 实验中若对所有规模硬编码同一套学习率和 Batch Size,大模型或小模型必然欠拟合,导致拟合出的指数
严重失真。应结合 或按规模经验公式同步调整超参。 - 验证集数据污染扭曲不可约熵
:若预训练语料与验证集存在近似重复(Near-duplicate),会导致估测的 偏低、外推曲线过于乐观,在实际未见分布上表现断崖式落差。
延伸阅读与参考论文
- Kaplan, J., et al. (2020). Scaling Laws for Neural Language Models. arXiv:2001.08361 ↗
- Hoffmann, J., et al. (2022). Training Compute-Optimal Large Language Models (Chinchilla). NeurIPS 2022. arXiv:2203.15556 ↗
- Muennighoff, N., et al. (2023). Scaling Data-Constrained Language Models. NeurIPS 2023. arXiv:2305.16264 ↗
- Sardana, N., et al. (2024). Beyond Chinchilla-Optimal: Accounting for Inference in Language Model Scaling Laws. ICML 2024. arXiv:2401.00448 ↗
- Snell, C., et al. (2024). Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters. arXiv:2408.03314 ↗