外观
概念定义 · 什么是扩散语言模型(Diffusion LLM)?
绝大多数大语言模型都是“自回归”的:像打字机一样严格从左到右、一次只能吐出一个词。扩散语言模型(Diffusion LLM / dLLM,如 MDLM、LLaDA) 借鉴图像扩散生成的思路,打破了单向逐词限制。
它先把一整段回复全部遮盖成掩码词元,然后让模型用双向注意力看清全局,分多轮并行把最有把握的空白位置同时填出来,再对不确定的位置反复修改去噪——天生擅长并行高速生成与双向逻辑回溯。
01 问题从何而来:写文章一定要像老式打字机一样“从左到右逐字憋”吗?
今天你用的绝大多数大模型(GPT、LLaMA、DeepSeek)全都是自回归(Autoregressive) 范式:像一台死板的老式打字机,每次只能憋出下一个词,敲完第 10 个字才能算第 11 个字,敲错了也没法回头改写前面。
这种串行生成带来两大天然痛点:
- 吐字速度被显存带宽锁死:现代 GPU 算力极其充沛,可每吐 1 个字都得把几百 GB 模型权重从显存里搬一遍,算力核心 90% 的时间都在发呆等数据!
- 单向近视与“逆转诅咒”:因为只能看前面、不能看后面,模型哪怕背过一百遍“汤姆的母亲是玛丽”,倒过来问它“玛丽的儿子是谁”,照样两眼一抹黑(Berglund et al., 2024 ↗)。
既然图像界早就用 扩散与流匹配 把一团噪点几步精修成 4K 大片,语言模型能不能也甩掉打字机,改成全局并行去噪生成?这就是近年异军突起的扩散语言模型(dLLM)——从 MDLM、SEDD 一路爆发到 8B 通用规模的 LLaDA(2025)↗ 与跑出每秒上千词的商用级 Mercury(2025)↗!
类比 · 老式打字机 vs. 大理石雕塑家
- 自回归 LLM 像用老式打字机写小说:从左上角第一个格逐字往右敲,写到第 500 字才想起前面伏笔没埋好,覆水难收;而且每敲一个键就得搬一次沉重铅字,急死人。
- 扩散语言模型(dLLM) 像一位雕塑家面对整块大理石:一开始整段回复全是一排空白的
`<mask>`占位符。第一锤下去,模型一眼扫过全局,先把最有把握的词和主干骨架一口气同时凿出来;接下来把拿不准的地方重新标成草稿,前后呼应着一轮轮并行精雕细琢,几十步就能把几百字同时雕琢成型!
核心设问
文字是离散词元,没法像图片像素那样直接加高斯白噪声,扩散语言模型怎么定义“加噪”与“去噪”?它和老前辈 BERT 的完形填空(MLM)究竟差在哪一步,为什么 BERT 不能当生成式大模型,而 LLaDA 却能?
02 核心直觉:从“随机挖空”到“先填送分题”
早期研究者曾试着把词向量转成连续小数再加噪声(如 Diffusion-LM),结果因为词表边界尖锐、舍入误差巨大,生成质量远远落后于自回归模型。后来 D3PM ↗、SEDD ↗ 与 MDLM ↗ 找到了最贴合自然语言的优雅解法——吸收态掩码扩散(Masked Diffusion):
- 前向加噪:不用乱加高斯噪声,而是抽一个
到 之间的随机破坏比例 ,把句子里每个词独立以概率 涂黑成 `<mask>`!当时,整句话彻底变黑,信息完全归零。 - 反向去噪:用一个撕掉单向因果遮罩的双向 Transformer,每次一眼看全前后所有已经露出来的词,同时并行预测所有
`<mask>`里原本藏着什么词!
那它和 2018 年的老前辈 BERT 完形填空(MLM)究竟差在哪一步?
- BERT 永远只挖掉 15% 的空:相当于只练过“看 85 个词猜 15 个词”的局部阅读理解,一旦把一整张全黑的
`<mask>`白纸丢给它从零创作,它立刻懵圈; - dLLM 训练覆盖 0% 到 100% 全掩码比例:从“全黑起草大纲”到“只剩最后一两个空咬文嚼字”,整条从噪声到成文的轨迹全被练透,在数学上构成了真实数据分布对数似然的严格变分上界(ELBO),因此真正成为和自回归模型分庭抗礼的通用生成式大模型!
类比 · 考试做完形填空:低置信度重掩码(Low-Confidence Remasking)
真正到了推理写字时,如果一步把全黑画布上所有空全随机定死,很容易前后逻辑打架。LLaDA 用了一个极其聪明的策略——像学霸刷完形填空一样先做送分题:
- 这一步模型把所有
`<mask>`都猜了一遍,并给每个空打上“把握度(置信度)”; - 只把把握最高的那一小批词元用钢笔正式填实定型;
- 把剩下含糊不清、把握低的空,重新用橡皮擦成
`<mask>`,留到下一轮——等刚才填好的稳妥词元提供了更多线索之后,再回来迎刃而解!
03 把关键公式读成人话
经过连续时间极限化简后,整个掩码扩散语言模型的训练目标简洁得令人惊叹(MDLM, 2024 ↗;LLaDA, 2025 ↗):
**把公式读成直觉:**把它拆成三步看,小学生都能懂:
- 随机抽一个难度系数
:今天可能挖掉 95% 的词练“无中生有打草稿”,明天可能只挖掉 5% 的词练“咬文嚼字修细节”; - 只给挖空的
`<mask>`位置算交叉熵:已经亮出来的明牌不计分,专考模型根据上下文把黑块猜准的能力; - 乘上最灵魂的权重
:当只挖掉 10% 的空时( ),猜错的惩罚权重高达 倍!这个神奇的 正是从连续时间马尔可夫变分下界(ELBO)里自然掉出来的数学礼物,确保模型既能全局起草、又能抠死细枝末节。
再看一步更底层的解析后验——从噪声时刻 `<mask>` 位置被揭示的概率:
为什么像剥洋葱一样逐层清晰?:假如现在 `<mask>` 等下一轮线索更全再揭晓。
04 它在模型里怎么工作 & 与上下游的关系
把单向因果掩码撕掉之后,dLLM 与传统自回归模型在 预训练目标 和推理系统上呈现出截然不同的优劣互补:
类比 · 单行道背唐诗 vs. 全景拼图打破“逆转诅咒”
自回归模型记知识就像沿着一条只能往前走的单行道背唐诗:背熟了“床前明月光
不过,硬币也有另一面——速度与缓存的系统大权衡:
- 算力利用率大胜:在单用户低并发场景下,自回归每步只算 1 个词,GPU 算力核心大部分时间都在空等显存搬运权重;而 dLLM 一次前向并行预测几十上百个词,直接把低效的逐词 解码策略 转化成吃满 GPU 矩阵核心的高吞吐计算,这就是商用模型 Mercury 能在 H100 飙出每秒上千词的秘密!
- 原生 KV Cache 的隐痛与破局:自回归模型算过的前文 K、V 永久有效绝不重算;可纯双向 dLLM 每填进一批新词,都会改变所有旧词的上下文含义,理论上每步去噪都得把整篇长文重算一遍。为此,工业界迅速祭出半自回归块扩散(Block Diffusion)——把长回答切成每块 32 或 64 个词的积木,块与块之间按顺序推进(定型的历史块永久锁死 KV Cache!),而每个块内部火力全开执行并行扩散去噪!既吃到了多词并行极速吐字的红利,又保住了动态
`<eos>`停机与长上下文缓存复用。
05 演化对比与避坑备忘
| 模型范式 | 注意力方向 | 单次前向产出 | 原生 KV Cache | 逆转诅咒 / 填空规划 |
|---|---|---|---|---|
| 自回归 LLM | 单向因果 | 严格 1 词 | 完美精确复用 | 弱(单向盲区) |
| BERT (MLM) | 双向全览 | 不可自由生成 | 不适用 | 仅理解/局部填空 |
| 纯扩散 LLaDA | 双向全览 | 并行多词 | 原生不可复用 | 极强(全局双向) |
| 半自回归块扩散 | 块间因果 + 块内双向 | 块内并行多词 | 历史块精确复用 | 强且支持动态停机 |
四个实战最容易踩的坑:
- 指令微调(SFT)千万别把用户的提问也掩码了:预训练时全句随机涂黑,但到了问答微调,必须保护好 Prompt 区域绝不加
`<mask>`,同时把回复末尾的`<eos>`纳入掩码监督,模型才能学会自己收尾停机。 - 一步解太多空容易“左右手打架”:在同一轮并行步里,每个空位是各自独立抽样的;如果贪快把去噪步数
压得太小,相邻两个空位可能同时填入语法撞车的词。配合低置信度重掩码分批稳步推进,是保质量的关键。 - 纯双向模式预设画布长度
很尴尬:画布开小了会把 思维链推理 强行腰斩;画布开大了又得白烧大量算力去反复预测尾部的 `<eos>`填充符——生产部署强烈建议转向半自回归块扩散按块延展。 - 别忘了给最小掩码比例
设下界:公式里有 ,一旦抽到 的极端样本,单步梯度会突然放大百万倍把训练炸飞;代码里务必把 限制在 以上。
想查看吸收态离散后验的精确解析推导、半自回归块扩散数据流图,以及包含
masked_diffusion_loss与低置信度重掩码采样器llada_sample的完整 PyTorch 代码?按快捷键M或点击顶部技术 Wiki随时切换。
长期以来,大语言模型的统治范式几乎与自回归(Autoregressive, AR) 划上等号:严格从左到右、每次仅预测下一个词元。这一范式虽然与 KV Cache 完美契合,却也带来了根深蒂固的结构性局限——解码期受限于串行显存带宽瓶颈难以多词元并行吐出,且单向因果视野滋生了著名的逆转诅咒(Reversal Curse) 与局部短视规划问题。扩散语言模型(Diffusion Large Language Models, dLLM) 将图像领域大放异彩的 扩散与流匹配 思想引入离散文本空间,以吸收态掩码扩散(Masked Diffusion) 为核心,通过前向随机替换为 `<mask>` 与反向多步双向并行去噪,构建出一套完全不依赖自回归链式分解的通用文本生成新范式。随着 SEDD、MDLM、LLaDA 8B 及商用级 Mercury 的接连突破,dLLM 首次在数十亿参数规模上展现出媲美同尺寸自回归大模型的推理与指令遵循能力,并在代码生成等任务中跑出超过
直观理解
传统自回归 LLM 像一位坐在老式打字机前的作家:必须严格从左上角第一字敲到最后一个字,写错了也没法回头改写前文,而且每次只能敲一个键。而扩散语言模型(dLLM) 更像一位雕塑家或油画家:先面对一整块空白大理石(全序列 `<mask>`),第一轮先粗略凿出最确定、最有把握的轮廓骨架(高置信度词元),接着把模糊不确定的地方重新打上草稿记号(低置信度重掩码),在全局双向视野下反复多轮并行精修,直到整篇文本或整段代码清晰浮现!
起源背景与演进脉络
将扩散模型迁移到自然语言的早期探索充满曲折,历经了“连续映射受挫
- 连续潜空间扩散(Diffusion-LM, 2022):试图把离散词元映射到连续 Embedding 空间再加高斯噪声,但离散词表边界尖锐、舍入误差大,困惑度(PPL)远远落后于自回归模型;
- 离散状态转移矩阵(D3PM, Austin et al., 2021):直接在离散词表上定义马尔可夫转移矩阵
,并敏锐指出吸收态(Absorbing State,即词元以一定概率坍缩为 `<mask>`) 在文本建模上显著优于均匀随机替换; - 理论大统一与化简(SEDD / MDLM / MD4, 2024):Lou 等人提出 SEDD 通过估计离散数据分布密度比(Score Entropy)首次在 GPT-2 尺度追平自回归;随后 Sahoo 等人(MDLM)与 Shi 等人(MD4)严格证明,吸收态离散扩散的连续时间变分下界(ELBO)可以化简为极其干净的连续比例加权掩码交叉熵,彻底扫清了大规模工程训练的数学障碍;
- LLM 规模化验证与商用加速(LLaDA / Mercury, 2025):中国人民大学与蚂蚁集团联合发布的 LLaDA 8B 从零在
词元上预训练并完成指令微调,证明纯掩码扩散模型具备与 LLaMA3 8B 相当的上下文学习、数学推理与指令遵循能力,且彻底粉碎逆转诅咒;同期 Inception Labs 推出的 Mercury 则将扩散语言模型推向商业化高速推理,在 H100 上实现超过 的惊人速度。
核心原理与数学推导
1. 吸收态前向加噪过程(Forward Masking Process)
设原始干净词元序列为 `<mask>`。引入连续噪声时间步
表示完全干净的数据 ; 表示完全被掩码覆盖的全 `<mask>`序列。
在最简洁的线性噪声调度下,前向过程对序列中每个位置 `<mask>`,以概率
由于每个位置一旦变成
2. 反向去噪网络与连续时间 ELBO 推导
反向过程由一个不带因果掩码的双向 Transformer 参数化,称为掩码预测器 `<mask>` 位置对应的原始词表分布。
对连续时间反向马尔可夫链取变分证据下界(ELBO),经过对时间步
为何它本质上不同于 BERT 的掩码语言建模(MLM)? 对照 预训练目标 中的 BERT:BERT 始终固定掩盖约
3. 推理采样策略:低置信度重掩码与半自回归块扩散
在推理阶段,从长度为 `<mask>` 序列(紧跟用户提示词 Prompt)出发,按时间序列
若严格按解析后验随机挑出
- 低置信度重掩码(Low-Confidence Remasking): 在第
步(从 到 ),先让双向网络并行对所有当前处于 `<mask>`的位置采样候选词元,并记录各自的置信度 (亦可使用最大概率或负熵)。随后保留置信度最高的 比例位置正式解掩码,而将其余置信度最低的 比例位置重新覆盖回 `<mask>`!这种“先填最稳的骨架、难题留待上下文更明朗后再解”的贪心调度,极大提升了少步采样(如步生成数百词)的文本连贯性。 - 半自回归块扩散(Semi-Autoregressive Block Diffusion): 将待生成长文本划分为若干固定长度块(如每块
或 词元):块与块之间按从左到右自回归推进,每个块内部执行双向并行扩散去噪。此举不仅完美兼容变长生成与 `<eos>`提前终止,还为跨块复用历史块的 KV Cache 打开了工程通道!
4. 打破“逆转诅咒”的机理
Berglund 等人(2024)揭示了自回归 LLM 的著名缺陷——逆转诅咒(Reversal Curse):若训练语料只包含“A 的母亲是 B”,自回归模型由于单向因果链式分解,几乎无法回答“B 的儿子是谁”(准确率接近随机猜测)。而在 dLLM 中,任意子集都可能被同时掩码或保留,双向注意力对称地建模联合分布
算法架构与数据流图
图表加载中...
范式横向对比表
| 维度 | 自回归 LLM (AR) | BERT 掩码语言模型 (MLM) | 纯离散扩散 (LLaDA / MDLM) | 半自回归块扩散 (Block dLLM) |
|---|---|---|---|---|
| 注意力可见性 | 单向因果掩码 | 双向全注意力 | 双向全注意力 | 块间因果 + 块内双向 |
| 掩码 / 预测目标 | Next-Token 链式分解 | 固定 15% 掩码(非生成式) | 全比例 | 块内全比例 ELBO |
| 单步前向产出 | 恒定 1 个词元 | 仅填空,不支持自由生成 | 并行更新任意多词元 | 块内并行多词元精修 |
| KV Cache 复用 | 原生精确 | 不适用 | 原生无法复用(每步重算全序列) | 已定型历史块可复用 KV |
| 逆转诅咒 / 全局规划 | 弱(易局部短视与单向偏置) | 强(双向语义理解) | 极强(天然双向联合建模) | 强(块内双向 + 全局连贯) |
| 变长生成控制 | 原生依赖 `<eos>` 停机 | 不适用 | 需预设画布长度 | 原生支持按块动态停机 |
核心 PyTorch 参考实现
以下代码完整实现 LLaDA 风格的离散掩码扩散训练损失(含 Prompt 区域保护与
python
import torch
import torch.nn as nn
import torch.nn.functional as F
class ToyDiffusionLM(nn.Module):
"""极简双向 Transformer 掩码预测器(无因果掩码)"""
def __init__(self, vocab_size: int, d_model: int = 256, n_heads: int = 4, n_layers: int = 2):
super().__init__()
self.emb, self.pos_emb = nn.Embedding(vocab_size, d_model), nn.Embedding(512, d_model)
layer = nn.TransformerEncoderLayer(d_model, n_heads, 4 * d_model, batch_first=True,
norm_first=True, activation="gelu")
self.encoder = nn.TransformerEncoder(layer, num_layers=n_layers)
self.lm_head = nn.Linear(d_model, vocab_size, bias=False)
def forward(self, input_ids: torch.Tensor) -> torch.Tensor:
pos = torch.arange(input_ids.size(1), device=input_ids.device).unsqueeze(0)
return self.lm_head(self.encoder(self.emb(input_ids) + self.pos_emb(pos)))
def masked_diffusion_loss(model: nn.Module, x0: torch.Tensor, mask_id: int,
prompt_len: int = 0, eps: float = 1e-3) -> torch.Tensor:
"""LLaDA / MDLM 连续时间掩码扩散 ELBO 损失"""
B, L = x0.shape
t = eps + (1.0 - eps) * torch.rand(B, 1, device=x0.device)
mask_flags = torch.rand(B, L, device=x0.device) < t
if prompt_len > 0:
mask_flags[:, :prompt_len] = False
xt = torch.where(mask_flags, torch.full_like(x0, mask_id), x0)
logits = model(xt)
ce = F.cross_entropy(logits.view(-1, logits.size(-1)), x0.view(-1), reduction="none").view(B, L)
return (ce * (mask_flags.float() / t)).sum() / (B * max(L - prompt_len, 1))
@torch.no_grad()
def llada_sample(model: nn.Module, prompt_ids: torch.Tensor, gen_len: int,
steps: int, mask_id: int, temperature: float = 0.8) -> torch.Tensor:
"""低置信度重掩码(Low-Confidence Remasking)并行反向去噪采样"""
B, device = prompt_ids.size(0), prompt_ids.device
x = torch.cat([prompt_ids, torch.full((B, gen_len), mask_id, device=device, dtype=torch.long)], dim=1)
base_k, rem = divmod(gen_len, steps)
for s in range(steps):
k_reveal = base_k + (1 if s < rem else 0)
mask_pos = (x == mask_id)
if not mask_pos.any():
break
logits = model(x)
logits[:, :, mask_id] = float("-inf")
probs = F.softmax(logits / max(temperature, 1e-5), dim=-1)
samples = torch.multinomial(probs.view(-1, probs.size(-1)), 1).view(B, -1)
conf = probs.gather(-1, samples.unsqueeze(-1)).squeeze(-1).masked_fill(~mask_pos, float("-inf"))
for b in range(B):
k = min(k_reveal, int(mask_pos[b].sum().item()))
if k > 0:
idx = torch.topk(conf[b], k=k).indices
x[b, idx] = samples[b, idx]
return x工程实践与常见陷阱
工程实践
- 指令微调(SFT)必须冻结 Prompt 区域:与预训练全序列随机加噪不同,SFT 与对齐阶段绝不能对用户输入 Prompt 施加
`<mask>`,否则模型无法学到条件遵循语义;此外,由于回复末端通常用`<eos>`补齐至固定画布长度,SFT 时务必把`<eos>`视作普通词元一并参与随机掩码与监督,模型才能学会自动控制回复长短。 - 用少量步数换取并行速度红利:在 GPU 推理中,当 Batch Size 较小时,自回归每步只算 1 个词元完全受限于显存带宽(Memory-Bound),大量 Tensor Core 处于空转状态。dLLM 单步同时预测几十上百个词元,把解码转化为高算术强度的预填充式矩阵运算(Compute-Bound),只要总去噪步数
明显小于生成长度 (如每步揭示 个词元),端到端吞吐即可大幅超越同尺寸自回归模型。 - 块扩散 + 近似 KV Cache 破局吞吐上限:纯双向 dLLM 每走一步都要重算全序列的
,在长上下文下总 FLOPs 偏高。前沿加速框架(如 Fast-dLLM、Block Diffusion)采用分块半自回归固定历史块 KV,并在相邻去噪步之间复用变化极小的背景 KV 特征,实测可带来 额外加速。
常见陷阱
- 每步独立采样的“条件独立失调(Factorization Error)”:在一轮并行步里,dLLM 对多个
`<mask>`位置同时独立采样,忽略了同一轮内新填词元之间的强联合相关性(例如可能同时把两个相邻空位填成语法冲突的搭配)。因此去噪步数 不可压缩过猛,且开启低置信度重掩码避免同时锁死两个强耦合模糊词元。 - 盲目预设过短或过长的生成画布长度
:纯双向 dLLM 需在开始前指定 `<mask>`槽位总长。若 太小会强行截断思维链推理;若 过大则会白白浪费大量全注意力算力去反复预测尾部的 `<eos>`填充符。工程部署强烈建议采用半自回归块扩散动态按块延展。 - 忘记对
裁剪下界:理论 ELBO 包含系数 ,若采样到极小 (如 )且恰好有一个词元被掩码,单步梯度方差会剧烈放大诱发 Loss Spike。实际训练应对 设下界截断(如 )或采用低方差分层时间步采样(Low-Discrepancy Sampler)。
延伸阅读与参考论文
- 离散扩散状态转移奠基:Austin et al., Structured Denoising Diffusion Models in Discrete State-Spaces (D3PM), NeurIPS 2021 (arXiv:2107.03006 ↗).
- 离散得分熵与追平自回归:Lou et al., Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution (SEDD), ICML 2024 (arXiv:2310.16834 ↗).
- 吸收态掩码扩散理论极简统一:Sahoo et al., Simple and Effective Masked Diffusion Language Models (MDLM), NeurIPS 2024 (arXiv:2406.07524 ↗); Shi et al., Simplified and Generalized Masked Diffusion for Discrete Data (MD4), NeurIPS 2024 (arXiv:2406.04329 ↗).
- 通用大语言扩散模型规模化突破:Nie et al., Large Language Diffusion Models (LLaDA), 2025 (arXiv:2502.09992 ↗).
- 商用级极速扩散代码与语言模型:Inception Labs, Mercury: Ultra-Fast Language Models Based on Diffusion, 2025 (arXiv:2506.17298 ↗).
- 自回归逆转诅咒现象剖析:Berglund et al., The Reversal Curse: LLMs trained on "A is B" fail to learn "B is A", ICLR 2024 (arXiv:2309.12288 ↗).