外观
概念定义 · 什么是「概率推断、MLE 与变分下界(ELBO)」?
概率推断是用概率分布去描述世界并从已知数据反推未知原因的数学框架:当数据完全可见时,让真实样本概率最大化就是最大似然估计(MLE)(也就是大模型预训练用的交叉熵损失);当数据背后藏着看不见的隐含状态、直接算总概率算不动时,就构造一个好算的“保底分数”——变分下界(ELBO),靠不断推高这个保底分把整个生成模型(VAE、扩散模型、扩散 LLM)一路托起来。
01 为什么搞懂 ELBO,就打通了大半个生成式 AI?
很多人学 AI 时总觉得各路技术像散落的孤岛:大语言模型在算交叉熵、画画的 扩散模型 在预测噪声、强化学习对齐 RLHF / PPO 在乘概率比率……它们好像各玩各的。
但把包装纸撕开,底层居然站在同一块地基上:如何让模型学出的概率分布
如果是自回归大语言模型,句子里的每个词都在眼前排排坐,我们直接用链式法则把整句话拆成“已知前文猜下一个词”,一步一步算交叉熵就行——这就是最爽快的精确最大似然(MLE)。可一旦问题里多出一个“看不见的幕后推手”(潜变量
核心设问
面对算不动的“无穷草稿总积分”,怎么绕过死胡同继续训练深度生成模型?把随机采样放进神经网络后,梯度卡死在采样节点上怎么穿透?更进一步,如果采样时用的分布和想评估的分布不是同一个,怎么无偏地纠偏?
02 三个生活类比:保底评分、拆分骰子与“借票折算”
类比一:为什么 ELBO 能替算不动的真实似然打工?
类比 · 音乐制作人的“保底打分表”
假设你拿到一段动人的成品音频
Kingma & Welling (2013) ↗ 的绝妙思路是:干脆请一位“听音反推助手”(编码器
- 重建分:拿猜出来的草稿重新合成音频,还原得越逼真,加分越多;
- 纪律扣分(KL 正则):草稿必须遵守简洁规范的“先验格式”(不能每首歌瞎编一套怪暗号),越离谱扣分越狠。
数学保证:这个保底分永远不会超过真实总分。于是只要拼命把保底分往上顶,真实总分就会被结结实实地架着一路水涨船高!
类比二:重参数化技巧——怎么对“掷骰子”求导?
反向传播要求每一步都能求导,可编码器算出均值
类比 · 把“随机性”甩给场外骰子
与其让网络内部自己摇一个带参数的魔改骰子,不如把骰子移到计算图外面:先从标准正态分布摇出一个纯客观的场外随机数
这一挪动简直神来之笔:随机性全被隔离在无须求导的旁支
类比三:重要性采样——拿旧民调推算新民意
类比 · 按人群比例折算权重
你想统计全城人对新电影的评分(目标分布
03 把关键公式读成人话
先看整篇概率生成理论最核心的恒等式(ELBO 与真实对数似然的精确关系):
**把 ELBO 恒等式读成直觉:**把这条公式拆成三段来看,一切疑云立刻散开:
- 最左边
:我们梦寐以求、却因高维积分算不动的“真实成绩”; - 中间
:我们真正放进 PyTorch 里优化的“保底分”——前面一项逼着模型把数据重建准确,后面减去的 KL 散度逼着隐空间规整连续(不能把每个样本孤立地死记成离散针尖,否则随便采样就生成乱码); - 最右边
:因为 KL 散度 永远大于等于 ,它就是保底分和真实分之间的差距。优化 ELBO 时,这个差距越挤越小,编码器 就越逼近上帝视角的真实后验!
再看跨分布纠偏的重要性采样公式:
**把重要性采样读成直觉:**想算“新策略
04 它在现代大模型里怎么工作?
别以为 ELBO 只是十年前 VAE 的老古董,它其实悄悄串起了整个现代生成模型版图:
- LLM 预训练是它的“无潜变量特例”:在 预训练目标(CLM) 中,所有词元都可观测,不需要变分近似,MLE 直接退化为交叉熵;而给参数加上高斯先验后的最大后验估计(MAP),就是大家天天用的 Weight Decay(L2 正则)。
- 扩散模型(DDPM)是多层 ELBO 的巅峰:DDPM (2020) ↗ 把图像逐步加噪的几百个中间状态看作一串潜变量,推导出的分层 ELBO 化简后,竟然就是大家熟知的“预测每一步高斯噪声的均方误差”!连最新的 离散扩散语言模型 也是靠推导离散掩码 ELBO 实现并行吐字。
- 强化学习对齐靠的是离散采样 + 重要性采样:大语言模型吐词是离散选 Token,没法直接用高斯重参数化,所以 RLHF / PPO 和 GRPO / RLVR 改用得分函数(REINFORCE)配合重要性采样比率,再用 Clip 裁剪按住方差不炸。
05 速查对照表 & 常见避坑
| 场景 | 核心武器 | 一句话直觉 | 典型坑点 |
|---|---|---|---|
| 自回归文本预训练 | 精确 MLE(交叉熵) | 每个词都看得见,直接最大化真实词概率 | 词表大时需 LogSumExp 防溢出 |
| 连续隐空间生成(VAE) | ELBO + 重参数化 | 保底重建分减去先验 KL,骰子移到场外 | 解码器太强易触发“后验坍缩” |
| 图像/文本扩散模型 | 分层加权 ELBO | 把去噪轨迹当潜变量链,逐层压低变分上界 | 采样步数多,推理延迟偏高 |
| 大模型 RL 对齐 | REINFORCE + 重要性采样 | 离散词无法重参数化,借旧轨迹乘比率纠偏 | 新旧策略差太远会导致权重方差爆炸 |
实战三条避坑备忘:
- 小心“后验坍缩(Posterior Collapse)”:当解码器本身很强(比如用 Transformer 当解码器)时,模型会偷懒把 KL 压到
、彻底无视潜变量 。工程上通常用 KL Warmup(渐进升温),先让模型把信息塞进隐空间再慢慢加正则。 - 离散采样别硬套重参数化:文本词元采样是不可导的硬跳变,别幻想直接对
argmax求导,乖乖用 Gumbel-Softmax、直通估计器(STE)或强化学习策略梯度。 - 盯紧重要性采样的“有效样本量”:离策略训练时,如果某几条轨迹的新旧概率比值
暴涨到几百倍,整个批次的梯度其实全被那两三条样本劫持了——这正是 PPO 死守 clip(1 - eps, 1 + eps)的保命原因。
需要查阅 Jensen 不等式完整推导、IWAE 多样本紧下界公式以及带有效样本量(ESS)诊断的完整 PyTorch 代码?按快捷键
M或点击顶部技术 Wiki随时切换。
现代生成式人工智能——无论是自回归大语言模型(LLM)、变分自编码器(VAE)、扩散与流模型,还是强化学习对齐算法(RLHF / PPO、GRPO)——本质上都在解决同一个统计学母问题:给定观测数据,如何对高维复杂概率分布进行建模、参数估计与后验推断。从贝叶斯定理出发,直接可算的场景导出最大似然估计(MLE);引入隐变量导致边际似然不可算的场景导出变分下界(Evidence Lower Bound, ELBO);而面对期望梯度与分布漂移,则衍生出重参数化技巧(Reparameterization Trick) 与重要性采样(Importance Sampling)。
直观理解
可以把生成模型想象成一位试图复原失传乐谱的作曲家:最大似然(MLE) 适用于直接看到完整乐谱(显式观测序列),只需不断调整作曲规则让真实乐谱出现的概率最大;而当音乐背后藏着看不见的“情感/曲式草稿”(潜变量
起源背景与演进脉络
在经典统计学习中,最大似然估计(Maximum Likelihood Estimation, MLE) 与 贝叶斯推断(Bayesian Inference) 构成参数估计的两大支柱。对于完全可观测的自回归文本序列
然而,当模型包含不可观测的潜变量(Latent Variable)
1990 年代末至 2000 年代,Jordan 等人系统化发展了变分推断(Variational Inference, VI),用易于优化的近似分布
核心原理与数学推导
1. 联合分布、贝叶斯定理与 MLE—交叉熵等价性
设观测数据
当无潜变量时,给定独立同分布样本
结合 信息论基础 中
2. 变分下界(ELBO)的两种等价推导
当高维潜变量
从松弛间隙恒等式视角,将
因左端与
3. 重参数化技巧与重要性采样
优化
- 得分函数估计(REINFORCE / Score Function):利用
,得到无偏估计 。它适用于离散变量(如 LLM 采样 Token 的 RLHF / PPO),但梯度方差极大,需要基线(Baseline)或优势函数降方差。 - 重参数化技巧(Reparameterization / Pathwise Gradient):将随机性剥离到与参数无关的辅助噪声
上。以对角高斯后验 为例:
此时梯度算子可直接移入期望内部:
另一方面,当需要计算目标分布
重要性采样在大模型与生成模型中无处不在:其一,IWAE(Importance Weighted Autoencoder) 用
架构 / 数据流图
图表加载中...
相关模式与横向对比表
| 推断 / 估计范式 | 优化目标 | 梯度估计方式 | 适用模型家族 | 核心局限 |
|---|---|---|---|---|
| 精确 MLE | 精确解析反向传播 | 自回归 LLM(CLM) | 需显式似然,难以直接建模全局潜结构 | |
| 标准 ELBO(VAE) | 重参数化(低方差) | VAE、部分多模态表征 | 后验坍缩、高斯假设导致下界松弛 | |
| 分层 ELBO(Diffusion) | 前向解析加噪重参数化 | 扩散模型、扩散 LLM | 采样需多步迭代,推理吞吐低于单步模型 | |
| IWAE 多样本下界 | 重要性加权重参数化 | 精确似然评估与密度估计 | ||
| REINFORCE + IS | 得分函数 + 裁剪比率 | RLHF / PPO、GRPO | 高方差,强依赖裁剪与 KL 约束 |
核心 PyTorch 参考实现
下面通过极简可运行代码演示(1)重参数化高斯 VAE 的单步 ELBO 计算;(2)基于 LogSumExp 的 IWAE
python
import math
import torch
import torch.nn as nn
import torch.nn.functional as F
class SimpleVAE(nn.Module):
"""极简高斯潜变量 VAE:演示重参数化技巧与 ELBO / IWAE 计算。"""
def __init__(self, x_dim: int = 32, h_dim: int = 64, z_dim: int = 8):
super().__init__()
self.enc = nn.Sequential(nn.Linear(x_dim, h_dim), nn.SiLU())
self.fc_mu, self.fc_logvar = nn.Linear(h_dim, z_dim), nn.Linear(h_dim, z_dim)
self.dec = nn.Sequential(nn.Linear(z_dim, h_dim), nn.SiLU(), nn.Linear(h_dim, x_dim))
def encode(self, x: torch.Tensor) -> tuple[torch.Tensor, torch.Tensor]:
h = self.enc(x)
return self.fc_mu(h), self.fc_logvar(h).clamp(-10.0, 10.0)
def reparameterize(self, mu: torch.Tensor, logvar: torch.Tensor) -> torch.Tensor:
# 剥离随机性 eps ~ N(0, I),使梯度流经 mu 和 logvar
return mu + torch.exp(0.5 * logvar) * torch.randn_like(logvar)
def elbo_loss(self, x: torch.Tensor) -> tuple[torch.Tensor, float, float]:
mu, logvar = self.encode(x)
recon_logits = self.dec(self.reparameterize(mu, logvar))
recon_nll = F.binary_cross_entropy_with_logits(recon_logits, x, reduction="none").sum(-1)
# 对角高斯到标准正态先验的解析 KL:0.5 * sum(mu^2 + sigma^2 - 1 - log sigma^2)
kl = 0.5 * (mu.pow(2) + logvar.exp() - 1.0 - logvar).sum(-1)
return (recon_nll + kl).mean(), recon_nll.mean().item(), kl.mean().item()
@torch.no_grad()
def iwae_log_likelihood(self, x: torch.Tensor, k: int = 16) -> float:
"""K 样本重要性采样紧下界(IWAE),K->inf 时收敛至真实 log p(x)。"""
mu, logvar = self.encode(x) # [B, Z]
std = torch.exp(0.5 * logvar)
z = mu.unsqueeze(0) + std.unsqueeze(0) * torch.randn(k, *mu.shape, device=x.device)
logits = self.dec(z) # [K, B, X]
log_px_z = -F.binary_cross_entropy_with_logits(logits, x.unsqueeze(0).expand_as(logits), reduction="none").sum(-1)
c = math.log(2.0 * math.pi)
log_pz = -0.5 * (z.pow(2) + c).sum(-1)
log_qz_x = -0.5 * (((z - mu.unsqueeze(0)) / std.unsqueeze(0)).pow(2) + logvar.unsqueeze(0) + c).sum(-1)
return (torch.logsumexp(log_px_z + log_pz - log_qz_x, dim=0) - math.log(k)).mean().item()
def importance_sampling_diagnostics(log_p: torch.Tensor, log_q: torch.Tensor, clip_eps: float = 0.2) -> dict[str, float]:
"""计算重要性采样权重比率、裁剪比例与有效样本量(ESS)。"""
ratio = torch.exp((log_p - log_q).clamp(-20.0, 20.0))
w_norm = ratio / (ratio.sum() + 1e-12)
ess = 1.0 / (w_norm.pow(2).sum() + 1e-12)
return {
"mean_ratio": ratio.mean().item(),
"ess_ratio": (ess / ratio.numel()).item(),
"clipped_frac": ((ratio - 1.0).abs() > clip_eps).float().mean().item(),
}
if __name__ == "__main__":
torch.manual_seed(42)
model = SimpleVAE(32, 64, 8)
x_batch = torch.bernoulli(torch.full((64, 32), 0.3))
neg_elbo, recon, kl = model.elbo_loss(x_batch)
print(f"ELBO={-neg_elbo.item():.3f} (Recon={recon:.3f}, KL={kl:.3f})")
print(f"IWAE(K=1)={model.iwae_log_likelihood(x_batch, 1):.3f} <= IWAE(K=32)={model.iwae_log_likelihood(x_batch, 32):.3f}")
print("IS 诊断:", {k: round(v, 4) for k, v in importance_sampling_diagnostics(torch.randn(1024) * 0.2, torch.zeros(1024)).items()})工程实践与常见陷阱
工程实践
- 在 Log-Space 运算与解析 KL:只要先验与变分后验属于同族解析分布(如高斯对高斯),务必直接套用闭式 KL 公式而非蒙特卡洛采样估算,可显著降低训练方差;涉及 IWAE 或重要性权重求和时,全程使用
torch.logsumexp防止数值下溢。 - KL Annealing 与 Free Bits:在文本 VAE 或多模态潜空间训练初期,强大的自回归解码器极易完全忽略潜变量
,使 (即后验坍缩,Posterior Collapse)。实践中常用线性/周期性 KL 权重退火( )或 Free Bits 机制(为每个潜维度设置最小 KL 阈值 )强迫编码器传递有效信息。 - 监控有效样本量(ESS):在离策略强化学习(PPO / GRPO)中,重要性比率
一旦在长序列上呈指数级偏离,有效样本量 会骤降至接近 ,意味着整个批次实际只由一两条轨迹主导更新,此时应及时缩减学习率或限制策略更新步数。
常见陷阱
- 对离散变量直接套用标准重参数化:文本词元采样
是阶跃函数,无法像高斯分布那样直接写出可导重参数化;离散潜变量必须改用 Gumbel-Softmax(Concrete 分布)松弛、直通估计器(STE) 或 REINFORCE / PPO。 - 混淆
与 导致方差发散:编码器输出 logvar后若忘记乘0.5就取指数,或未对其做clamp(-10, 10)截断,前几个步长内exp(logvar)就会在 BF16/FP16 下溢出为inf,进而污染整张计算图。 - 忽略重要性采样的支撑集覆盖条件:重要性采样无偏成立的前提是
。若提议分布 尾部比目标分布 更窄(例如旧策略已坍缩、熵过低),比率 具有无穷方差,估计值虽理论无偏却会在有限样本下剧烈失真。
参考文献
- Kingma, D. P., & Welling, M. (2013). Auto-Encoding Variational Bayes. ICLR 2014. arXiv:1312.6114 ↗
- Rezende, D. J., Mohamed, S., & Wierstra, D. (2014). Stochastic Backpropagation and Approximate Inference in Deep Generative Models. ICML 2014. arXiv:1401.4082 ↗
- Burda, Y., Grosse, R., & Salakhutdinov, R. (2015). Importance Weighted Autoencoders. ICLR 2016. arXiv:1509.00519 ↗
- Blei, D. M., Kucukelbir, A., & McAuliffe, J. D. (2017). Variational Inference: A Review for Statisticians. JASA. arXiv:1601.00670 ↗
- Ho, J., Jain, A., & Abbeel, P. (2020). Denoising Diffusion Probabilistic Models. NeurIPS 2020. arXiv:2006.11239 ↗
- Schulman, J., et al. (2017). Proximal Policy Optimization Algorithms. arXiv:1707.06347 ↗