Skip to content

信息论与语言建模目标

从信息熵、交叉熵与 KL 散度出发,阐明最大似然训练、困惑度(PPL)与 Bits-per-Byte 评估指标。

当前:讲解模式 — 侧重直觉建立、生活类比与分步拆解快捷键 M 切换
概念定义 · 什么是交叉熵、KL 散度与困惑度?

大模型预测下一个词时,输出的不是单个答案,而是给词表里每个词打一份概率分布。信息论 就是用来衡量“模型猜得准不准、两个概率分布像不像”的数学尺子。

其中 交叉熵(Cross-Entropy) 是训练大模型最核心的损失函数(猜对真答案的概率越高,扣分越少);KL 散度 用来衡量微调/对齐后的新模型偏离原模型有多远;困惑度(Perplexity, PPL) 则是交叉熵的指数形式,直观表示“模型每次选下一个词时,平均在多少个等概率候选词之间犹豫不决”。

01 为什么大语言模型的终极目标其实是“压缩文本”? ​

如果有人问你:大模型预训练时每天读几万亿个词,它到底在学什么?一个听起来很“硬核”却无比准确的回答是——它在拼命学着怎么把人类语言压缩得更短。

早在 1948 年,香农在信息论开山之作(A Mathematical Theory of Communication, 1948 ↗)里就证明了一个深刻定理:你对下一句话猜得越准,表达这句话所需的平均比特数就越少。近年 DeepMind 的论文 Language Modeling Is Compression (2024) ↗ 甚至直接拿大语言模型当无损压缩软件,压缩率一举碾压了 gzip 和 PNG!

类比 · 猜词电报员的省钱绝技

想象你是一名按字节收费的电报员,要把一本小说发往大洋彼岸。如果对方完全不懂中文,每个字你都得花完整编码去发;但如果对方和你一样熟读小说规律——你刚发了“床前明月”,对方十有八九能猜出下个字是“光”,那你只需发一个极短的“猜对了!”信号就行。模型越聪明,越能精准预测下一个词,给真实文本编码时花的比特就越少。

核心设问

在数学上,我们怎么精确量化“猜得有多准”?为什么训练时要用交叉熵而不是均方误差(MSE)?更关键的是,在蒸馏与对齐阶段,同样是缩小两个概率分布的距离,为什么把公式里的 P 和 Q 调换一下位置,模型的性格就会截然不同?

02 两个核心直觉:摩斯电码账单与“铺平 vs 赌单峰” ​

直觉一:信息熵、交叉熵与 KL 散度的三笔账 ​

信息论里最容易把人绕晕的三个概念——信息熵 H(P)、交叉熵 H(P,Q) 和 KL 散度 DKL(P‖Q),放到“按词频设计摩斯电码”的场景里瞬间一目了然:

类比 · 发报员的三笔账单
  • 信息熵 H(P):如果你是全知的上帝,完全掌握真实语言分布 P,把常见字编成超短码、生僻字编成长码,发完每个字理论上最少必须花的比特数(语言本身不可再压缩的底线)。
  • 交叉熵 H(P,Q):现实中你没有上帝视角,只能按当前模型脑子里的猜测分布 Q 去设计电码表,拿这套表去发真实世界的话,实际平均花掉的比特数。
  • KL 散度 DKL(P‖Q):实际账单减去理论底线,就是因为模型 “猜得不够准” 而白白多花的冤枉比特数。因为理论底线 H(P) 是固定不变的,所以最小化交叉熵、最小化 KL 散度、最大化真实文本的似然概率,在数学上干的是同一件事!
类比 · 为什么不用均方误差(MSE)来教语言模型猜词?

设想词表里有 10 万个词,真实答案是 one-hot 里的一个 1,模型却把正确词的概率错估成了 0.0001。如果用均方误差算账,(1−0.0001)2≈1,无论你错估成 0.01 还是 0.000001,扣分都差不多,梯度软绵绵的;而交叉熵取负对数 −log⁡(p) 会在接近 0 的地方拉起一堵垂直悬崖——你越是高傲地把正确答案判为“不可能”,它给你的惩罚梯度就越猛烈,逼着模型火速改正极端错误。

直觉二:Forward KL 与 Reverse KL 的性格分裂 ​

KL 散度最反直觉的性质是不对称:DKL(P‖Q)≠DKL(Q‖P)。假设教师分布 P 是一座有两座山头的双峰山(比如回答同一个问题有两种同样精彩的风格),而学生模型 Q 容量有限,手里只有一块小圆桌布(单峰分布),该怎么盖?

类比 · 一块小桌布盖两座山峰
  • Forward KL(DKL(P‖Q),宁滥勿缺 / Mode-Covering):处罚规则是“只要山峰有高度的地方,桌布没盖到就罚款无穷大!”学生吓坏了,只好把桌布拼命拉宽拉平,横跨两座山峰连带中间的山谷一起盖住——结果是覆盖面极全,但概率糊成一团,甚至把大量概率错分到山谷里的胡言乱语上。
  • Reverse KL(DKL(Q‖P),宁缺毋滥 / Mode-Seeking):处罚规则反过来——“只要你桌布盖到了没山的空地就罚款无穷大,没盖到另一座山峰不算错!”学生立刻变聪明了:干脆放弃一座山峰,把桌布严严实实地罩在其中一座最高峰上——结果是生成极其精准锐利、绝不胡说,但多样性会变窄。

03 把关键公式读成人话 ​

先看把信息熵、交叉熵、KL 散度串成一条线的核心恒等式:

H(P,Qθ)=H(P)+DKL(P‖Qθ),LCLM(θ)=−1T∑t=1Tlog⁡Qθ(xt∣x<t)

把交叉熵损失读成直觉:训练时每读到一个词 xt,模型根据前文 x<t 给整个词表打分并算概率,然后只取出真实下一个词对应的概率 Qθ(xt∣x<t) 取负对数。如果模型给真词分配了 100% 概率,−log⁡(1)=0,损失为零;如果只分配了 1% 概率,损失就飙升。整篇预训练的本质,就是不断调参数 θ,让这条“猜错罚单”的平均值降到最低。

再对比一下两种 KL 散度的对称写法:

DKL(P‖Q)=∑xP(x)log⁡P(x)Q(x),DKL(Q‖P)=∑xQ(x)log⁡Q(x)P(x)

**把两条 KL 散度读成直觉:**注意看最前面的权重因子是谁:

  • Forward KL 由老师分布 P(x) 加权,老师觉得重要的地方,学生 Q(x) 绝不能给零;
  • Reverse KL 由学生分布 Q(x) 加权,只要学生敢押注的地方,老师 P(x) 必须也认同,否则罚到破产。

训练完怎么评估模型有多强?行业常用 困惑度(PPL) 与跨词表黄金指标 每字节比特数(BPB)(详见 The Pile, 2020 ↗):

PPL=exp⁡(LCLM),BPB=TNbytes⋅ln⁡2LCLM

把 PPL 和 BPB 读成直觉:- PPL(困惑度) 是“等效掷骰子面数”:PPL=10,意味着模型预测下一个词时的犹豫程度,相当于在 10 个等概率候选词里盲选一个。越小越笃定。

  • 为什么跨模型比拼必须换成 BPB? 因为不同模型的 分词器 切法不同——大词表一口吞 5 个字母,每一步要猜的东西更多,单步 PPL 天然偏高,但它总步数少!把整篇文章的总信息量除以原始 UTF-8 字节数 Nbytes 再换算成以 2 为底的比特(除以 ln⁡2),就彻底剥离了分词器的干扰,变成真正的“每字节压缩成本”。

04 它在模型里怎么工作 & 与上下游的关系 ​

香农信息论像空气一样渗透在大模型训练、对齐与评估的每一个环节:

  • 预训练与 SFT 的主引擎:预训练目标(CLM) 与 监督微调(SFT) 最小化的都是标准交叉熵(等价于 Forward KL),鼓励模型广博地吸收世界知识与多样表达。
  • 对齐阶段的“防跑偏缰绳”:在 RLHF / PPO 与 DPO 家族 中,如果只一味追求奖励模型高分,模型很快会学会钻空子胡言乱语(Reward Hacking)。于是目标函数里必须绑上一根 Reverse KL 惩罚绳 DKL(πθ‖πref),既把输出拉向高质主峰,又防止策略模型离参考底座太远。
  • 知识蒸馏的路线分水岭:传统蒸馏用 Forward KL,小模型学完常常“四不像”;而 MiniLLM (2024) ↗ 等现代 剪枝与蒸馏 方法改用 Reverse KL,让小模型放弃装不下的长尾分布,专注复刻大老师最稳健的回答模式。
  • 缩放与采样的标尺:缩放定律(Scaling Laws) 拟合的纵轴正是验证集交叉熵损失;推理阶段的 温度与核采样解码 本质上也是在实时调节输出分布的信息熵。

05 散度与指标速查表 & 避坑备忘 ​

概念一句话直觉典型性格 / 适用范围
交叉熵(Cross-Entropy)按模型猜测编码真实数据的平均代价与最大似然等价,预训练与 SFT 唯一标配
Forward KLDKL(P‖Q),不许漏掉老师任何一座峰Mode-Covering,包容全面但易偏平滑
Reverse KLDKL(Q‖P),不许在老师没概率处瞎猜Mode-Seeking,锐利精准但可能多样性变窄
PPL vs BPB每词元等效分支数 vs 每字节压缩比特数同词表看 PPL,跨词表/跨家族必须看 BPB
  1. 绝不跨分词器直接比 PPL:把 32K 词表的 LLaMA 2 和 128K 词表的 LLaMA 3 拉到一起比 token 级 PPL 是经典乌龙,必须统一折算为 BPB。
  2. 永远别手写 log(softmax(x)):超大或超小 logits 会瞬间溢出成 inf 或 NaN。工程上务必调用带最大值平移(LogSumExp)的融合算子 F.cross_entropy,并在 FP32 下算完损失;词表超 128K 时还可配合分块交叉熵核避免 [B, T, V] 显存爆炸。
  3. 当心 PyTorch F.kl_div 的参数陷阱:它的第一个参数必须是对数概率 log⁡Q,且默认的 reduction='mean' 会错除以 B×V 把梯度缩小十几万倍,正确做法是传 reduction='batchmean'。

需要查阅吉布斯不等式、JS 散度对比、Z-loss 稳定性技巧以及完整的 NLL / PPL / BPB 与双 KL 对比 PyTorch 代码?按快捷键 M 或点击顶部 技术 Wiki 即可随时切换。

大语言模型的本质是对自然语言序列概率分布 Pdata(x1,x2,…,xT) 进行高精度密度估计,而压缩即智能(Compression is Intelligence) 正是连接信息论与现代 LLM 的核心桥梁。香农信息论不仅赋予了自回归语言建模严格的优化目标——交叉熵损失(Cross-Entropy Loss),还提供了衡量分布偏移的 KL 散度(KL Divergence)以及跨模型评估的困惑度(Perplexity)与每字节比特数(Bits-per-Byte, BPB)。

直观理解

可以把语言模型想象成一名猜词编码员:信息熵是自然语言本身不可再压缩的“最低猜词代价”;交叉熵是当前模型按照自己的猜测概率去压缩文本时实际付出的平均比特数;KL 散度则是模型因为“猜得不够准”而多花出去的冤枉比特数。训练大模型,本质上就是不断压榨这部分冗余比特。

问题动机与演进背景 ​

在语言建模中,模型在每个时间步需要从大小为 V(通常 32k∼256k)的词表中预测下一个词元的概率分布。为何不用均方误差(MSE)直接拟合 one-hot 标签?因为 MSE 在高维概率单纯形上对极端错误(如将真实词元的概率预测为 10−6)给出的梯度极其微弱,容易陷入饱和;而基于信息论的交叉熵对高置信度的错误施加对数级陡峭惩罚,同时与统计学中的最大似然估计(MLE)完全等价。

随着模型演进到 指令微调(SFT)、知识蒸馏 与人类偏好对齐(RLHF / PPO、DPO 家族)阶段,研究者进一步需要精细控制两个概率分布之间的“贴合方式”——究竟是宁可覆盖所有可能模式(Forward KL),还是宁可放弃部分长尾而保证生成锐利(Reverse KL),这一区别深刻影响着蒸馏与对齐的最终效果。

核心原理与数学推导 ​

1. 自信息、信息熵与交叉熵 ​

设离散随机变量 X 服从真实数据分布 P(x)。单个事件 x 发生时带来的自信息(Self-Information) 定义为:

I(x)=−log⁡P(x)

当对数底为 2 时单位为比特(bits),底为自然常数 e 时单位为奈特(nats,深度学习框架默认采用自然对数)。真实分布 P 的期望自信息称为香农熵(Shannon Entropy):

H(P)=Ex∼P[−log⁡P(x)]=−∑x∈VP(x)log⁡P(x)

香农源编码定理指出,H(P) 是对来自 P 的样本进行无损编码所需的理论最短平均码长下界。

若我们用参数化模型分布 Qθ(x) 近似真实分布 P(x),并按 Qθ 设计最优编码(每个事件编码长度为 −log⁡Qθ(x)),则在真实数据上产生的平均编码长度称为交叉熵(Cross-Entropy):

H(P,Qθ)=Ex∼P[−log⁡Qθ(x)]=−∑x∈VP(x)log⁡Qθ(x)

2. KL 散度与最大似然估计(MLE)的等价性 ​

使用模型 Qθ 替代真实分布 P 所产生的额外编码开销,即为相对熵,也称 KL 散度(Kullback–Leibler Divergence):

DKL(P∥Qθ)=H(P,Qθ)−H(P)=∑x∈VP(x)log⁡P(x)Qθ(x)≥0

由吉布斯不等式可知 DKL(P∥Qθ)≥0,且等号成立当且仅当 P=Qθ 处处成立。由于真实数据分布的熵 H(P) 与模型参数 θ 无关,因此以下三个优化问题完全等价:

arg⁡minθDKL(P∥Qθ)=arg⁡minθH(P,Qθ)=arg⁡maxθEx∼P[log⁡Qθ(x)]

在有限训练集 D={x(1),…,x(M)} 上,用经验分布 P^ 近似 P,并将自回归联合概率按链式法则展开 Qθ(x)=∏t=1TQθ(xt∣x<t),便得到大语言模型最经典的 因果语言建模(CLM) 负对数似然(NLL)损失:

LCLM(θ)=−1T∑t=1Tlog⁡Qθ(xt∣x<t)

3. Forward KL 与 Reverse KL 的不对称性 ​

KL 散度不满足对称性,即 DKL(P∥Qθ)≠DKL(Qθ∥P)。当用单峰或容量受限的学生模型 Qθ 去拟合多峰教师分布 P 时,两者表现出截然不同的几何行为:

  • Forward KL(DKL(P∥Qθ),均值寻找 / Mode-Covering): 期望按 P 加权。只要在某处 P(x)>0 而 Qθ(x)→0,惩罚项 P(x)log⁡P(x)Qθ(x)→+∞。因此模型被迫“铺平”概率质量去覆盖 P 的所有峰,宁可在低概率谷底分配虚假概率(产生幻觉或模糊输出),也不敢漏掉任何真实样本。标准预训练与监督微调(SFT)最小化的正是 Forward KL。
  • Reverse KL(DKL(Qθ∥P),峰值寻找 / Mode-Seeking): 期望按 Qθ 加权。只要在某处 P(x)≈0 而 Qθ(x)>0,惩罚项趋于无穷;但若 Qθ(x)→0,即使 P(x)>0 也不会产生惩罚。因此模型会集中精力精准锁定 P 的某几个高概率主峰,舍弃次要模式,生成质量更锐利但也可能牺牲多样性。RLHF 策略优化与 MiniLLM 蒸馏广泛采用 Reverse KL。

4. 困惑度(Perplexity)与 Bits-per-Byte(BPB) ​

困惑度(Perplexity, PPL) 定义为每词元平均负对数似然的指数形式:

PPL(x)=exp⁡(−1T∑t=1Tlog⁡Qθ(xt∣x<t))=exp⁡(LCLM)

直观上,PPL=k 表示模型在预测下一个词元时,其不确定性相当于在 k 个等概率候选词中随机均匀猜测。

然而,PPL 高度依赖 分词器(Tokenizer) 的词表粒度:更大的词表将同样一段文本切分为更少的词元,单步预测难度上升但总步数减少,导致不同分词器的模型之间无法直接比较 PPL。为此,基准测试与 缩放定律评估 广泛采用分词器无关的 Bits-per-Byte(BPB) 指标:

BPB(x)=1Nbytes⋅ln⁡2∑t=1T(−ln⁡Qθ(xt∣x<t))=TNbytes⋅ln⁡2LCLM

其中 Nbytes 为原始 UTF-8 文本的字节长度。BPB 衡量的是压缩每个原始字节平均消耗的比特数,天然屏蔽了词表大小和切分粒度的干扰,是跨家族大模型语言建模能力的黄金标尺。

算法架构 / 数据流图 ​

图表加载中...

复杂度与横向对比表 ​

散度 / 指标数学表达式行为特性跨词表可比性典型应用场景
交叉熵(Cross-Entropy)−∑Plog⁡Q与 MLE 等价,数值稳定(LogSumExp)否(依赖词表)预训练、SFT 监督损失
Forward KL∑Plog⁡(P/Q)Mode-Covering,避免漏峰,可能偏平滑否预训练、传统 logits 知识蒸馏
Reverse KL∑Qlog⁡(Q/P)Mode-Seeking,锁定高质主峰,可能模式坍缩否RLHF 策略约束、MiniLLM 蒸馏
JS 散度(Jensen-Shannon)12DKL(P‖M)+12DKL(Q‖M)对称且有界 [0,ln⁡2],其中 M=P+Q2否分布距离度量、GAN 理论分析
困惑度(PPL)exp⁡(1T∑−ln⁡Q)直观反映有效分支因子否(强烈依赖分词器)同词表模型迭代与量化评估
Bits-per-Byte(BPB)∑−ln⁡QNbytesln⁡2反映真实文本压缩率(bits/byte)是(分词器无关)The Pile、跨家族模型基准对比

核心 PyTorch 参考实现 ​

python
import math
import torch
import torch.nn.functional as F


def causal_lm_metrics(
    logits: torch.Tensor,          # [B, T, V]
    target_ids: torch.Tensor,      # [B, T]
    utf8_byte_lengths: list[int],  # 每条样本原始文本的 UTF-8 字节数
    ignore_index: int = -100,
) -> dict[str, float]:
    """计算因果语言模型的 NLL、PPL 与分词器无关的 BPB。"""
    # 因果移位:用 t 位置的 logits 预测 t+1 位置的 token
    shift_logits = logits[:, :-1, :].contiguous()    # [B, T-1, V]
    shift_labels = target_ids[:, 1:].contiguous()    # [B, T-1]

    # 使用 reduction='none' 以精确统计总 nats 与有效词元数
    token_nll = F.cross_entropy(
        shift_logits.view(-1, shift_logits.size(-1)),
        shift_labels.view(-1),
        ignore_index=ignore_index,
        reduction="none",
    )  # [B * (T-1)]

    valid_mask = shift_labels.view(-1) != ignore_index
    total_nats = token_nll[valid_mask].sum().item()
    valid_tokens = valid_mask.sum().item()
    mean_nll = total_nats / max(valid_tokens, 1)

    ppl = math.exp(mean_nll)
    total_bytes = sum(utf8_byte_lengths)
    bpb = total_nats / (total_bytes * math.log(2.0))
    return {"nll_nats": mean_nll, "ppl": ppl, "bpb": bpb}


def compare_forward_reverse_kl(
    teacher_logits: torch.Tensor,  # [N, V]
    student_logits: torch.Tensor,  # [N, V]
    temperature: float = 1.0,
) -> tuple[torch.Tensor, torch.Tensor]:
    """分别计算 Forward KL D_KL(P||Q) 与 Reverse KL D_KL(Q||P)。"""
    p_log = F.log_softmax(teacher_logits / temperature, dim=-1)  # log P
    q_log = F.log_softmax(student_logits / temperature, dim=-1)  # log Q
    p_prob = p_log.exp()
    q_prob = q_log.exp()

    # Forward KL: sum P * (log P - log Q)
    forward_kl = (p_prob * (p_log - q_log)).sum(dim=-1).mean()
    # Reverse KL: sum Q * (log Q - log P)
    reverse_kl = (q_prob * (q_log - p_log)).sum(dim=-1).mean()
    return forward_kl, reverse_kl


if __name__ == "__main__":
    torch.manual_seed(0)
    B, T, V = 2, 16, 1000
    logits = torch.randn(B, T, V)
    labels = torch.randint(0, V, (B, T))
    metrics = causal_lm_metrics(logits, labels, utf8_byte_lengths=[64, 60])
    print("随机初始化基准指标:", {k: round(v, 4) for k, v in metrics.items()})

    # 演示多峰教师分布下,单峰学生用 Forward KL vs Reverse KL 的差异
    t_logits = torch.tensor([[5.0, 0.0, 0.0, 5.0]])  # 双峰分布
    s_cover = torch.tensor([[2.0, 1.5, 1.5, 2.0]])   # 覆盖双峰但较平滑
    s_seek = torch.tensor([[5.0, -5.0, -5.0, -5.0]]) # 仅锁定左峰
    print("Cover 学生 (Fwd, Rev):", [round(x.item(), 3) for x in compare_forward_reverse_kl(t_logits, s_cover)])
    print("Seek  学生 (Fwd, Rev):", [round(x.item(), 3) for x in compare_forward_reverse_kl(t_logits, s_seek)])

工程实践与常见陷阱 ​

工程实践

  1. 数值稳定的 LogSumExp:严禁先计算 softmax 再取 log,否则极大或极小 logits 会触发上溢(inf)或下溢(log(0) = -inf)。始终在 FP32 下使用融合算子 F.cross_entropy 或 F.log_softmax,其内部通过减去最大值 maxjzj 保证数值稳定。
  2. 大模型词表的显存融合优化:当词表 V≥128k、序列较长时,实例化完整的 [B, T, V] FP32 logits 张量可能消耗数十 GB 显存。生产框架(如 Liger-Kernel、Cut Cross-Entropy)采用分块在线计算融合线性层与交叉熵,将显存开销降低一个数量级。
  3. Label Smoothing 与 Z-loss:在预训练中常加入辅助正则项 z_loss = 1e-4 * (logsumexp(logits) ** 2)(如 PaLM、Chameleon),用于约束 logits 绝对值不发生漂移,防止 BF16 下 softmax 溢出。

常见陷阱

  1. 跨分词器误用 PPL 对比:将词表为 32k 的 LLaMA 2 与词表为 128k 的 LLaMA 3 直接对比 token-level PPL 是完全错误的——词表越大、单 token 承载字节越多,PPL 数值天然偏高。跨词表比较必须折算为 BPB 或 Bits-per-Character(BPC)。
  2. F.kl_div 参数顺序与默认 reduction 陷阱:PyTorch 的 F.kl_div(input, target) 中 input 要求是对数概率 log⁡Q,而 target 默认是概率 P(除非传 log_target=True),且默认 reduction='mean' 会除以元素总数 B×V 而非批大小 B,正确用法应传 reduction='batchmean' 或手动对词表维 sum(dim=-1).mean()。
  3. 评估滑动窗口的上下文泄漏:在计算超长文档的困惑度时,若简单切块而不留重叠上下文,每块开头词元缺乏历史信息会虚高 PPL;应使用带步长的滑动窗口(Sliding Window),且只对新增无重叠部分累加 NLL。

延伸阅读与参考论文 ​

  • Shannon, C. E. (1948). A Mathematical Theory of Communication. Bell System Technical Journal. DOI:10.1002/j.1538-7305.1948.tb01338.x ↗
  • Cover, T. M., & Thomas, J. A. (2006). Elements of Information Theory (2nd ed.). Wiley.
  • Gao, L., et al. (2020). The Pile: An 800GB Dataset of Diverse Text for Language Modeling(系统讨论 BPB 作为跨词表评估指标). arXiv:2101.00027 ↗
  • Gu, Y., et al. (2024). MiniLLM: Knowledge Distillation of Large Language Models. ICLR 2024(深入剖析 Reverse KL 与 Forward KL 在大模型蒸馏中的差异). arXiv:2306.08543 ↗
  • Delétang, G., et al. (2024). Language Modeling Is Compression. ICLR 2024. arXiv:2309.10668 ↗