外观
概念定义 · 什么是解码与采样策略(Decoding & Sampling)?
大模型每算完一步,其实并没有直接吐出一个汉字,而是输出了一份覆盖全词表(比如 15 万个词)的概率清单。解码与采样策略 就是决定“怎么从这 15 万个候选词里挑出最终那一个字”的规则。
每次死板选概率最高的词(Greedy 贪心)容易陷入车轱辘死循环;通过 Temperature(温度) 调节发散程度,再配合 Top-K、Top-P(核采样)、Min-P 砍掉不靠谱的长尾怪词,就能在“严谨准确”和“文采多样”之间精准控档。
01 问题从何而来:模型其实从不直接“说话”
很多人以为,大模型算完一遍 Transformer,就会直接吐出一个确定的汉字或英文单词。其实不然——模型每次前向传播结束后,交出来的只是 词表 上十多万个候选词的一张“打分表”(Logits):比如“天气”得 8.2 分,“气候”得 7.9 分,“苹果”得 -3.1 分。
真正拍板“下一笔到底落哪个字”的,是紧跟在模型身后的解码策略。早期大家最自然地想:既然要说得最通顺,那每一步都挑概率最高的词(贪心搜索),或者多留几条总分最高的候选路径(Beam Search),不就稳了吗?
可 Holtzman 等人在 2019 年的经典论文(arXiv:1904.09751 ↗)里泼了一盆冷水:在开放写作中,死磕“概率最高”反而会让模型变成复读机,写出“我很高兴。我很高兴。我真的很高兴……”这种空洞死循环,学术界管这叫文本退化。
类比 · 选餐厅的两难
想象你和朋友在异地找晚饭吃。如果你们采用贪心策略,每天都只去评分最高的那一家连锁快餐,永远不会踩雷,但也彻底失去新鲜感,吃三天就腻得反胃;反过来,如果把全城十万家店(包括早点摊、五金店隔壁的苍蝇馆子)都按原始概率随机抽签,哪怕每家烂店概率只有万分之一,合起来长尾也能占去一大块,十次里有三次抽到拉肚子的店。
人类说话的奥妙在于:我们既不会每句话都照着模板念,也绝不会胡乱塞进离谱的词,而是在一个动态变化的“靠谱候选圈”里灵活切换。
核心设问
怎么在“死板复读”和“长尾胡言乱语”之间走钢丝——既能随着语境自动收紧或放宽候选池,又能在需要写 JSON 或调 API 时做到格式零出错?
02 核心直觉与生活类比
现代解码管线其实是一套层层把关的“选词滤网”。理解它最快的办法,是把三大核心旋钮想象成调音台和筛子。
类比 · 温度、Top-P 与 Min-P:三把不同的滤网
- 温度(Temperature)像舞台灯光对比度:把温度调低(如 0.2),灯光聚焦在第一名身上,其他候选词全被压进阴影里,模型变得极度严谨保守;把温度调高(如 1.2),全场打亮,原本靠后的创意词也有了登台机会。
- Top-K 像死板的“只留前 50 名”:不管今天是考“床前明月___”(正确答案几乎只有“光”一个),还是考“从前有座___”(山、城、庙、森林都合理),它都硬塞进 50 个候选。前一种情况塞进 49 个废话,后一种情况又把不少好词挡在门外。
- Top-P(核采样)像“凑够 90% 把握就收手”的动态圆圈:遇到固定搭配,第 1 个词自己就占了 96% 概率,圆圈瞬间缩到只剩 1 个词;遇到开放续写,圆圈自动撑大到几十甚至上百个词。
- Min-P 像“以冠军为基准的淘汰线”(arXiv:2407.01082 ↗):哪怕开高温度,只要第 1 名高达 80%,设
min_p = 0.1就要求所有入围者至少有 8% 实力,一口气踢掉高温度下混进 Top-P 的低质量杂音。
那如果我们要模型严格输出合法 JSON、SQL 或函数参数,靠采样“祈祷它别漏引号”显然不靠谱。于是就有了结构化约束解码(如 Outlines arXiv:2307.09702 ↗ 与 XGrammar arXiv:2411.15100 ↗)。
类比 · 戴着字模写作:有限状态机掩码
把合法的 JSON 语法想象成一套精密的木雕字模(确定有限自动机 FSM)。模型每走到一个位置——比如刚输出完 {"age": ——字模立刻亮起绿灯和红灯:只有数字开头的词亮绿灯,字母、汉字、右括号全被贴上
为了把这几把“滤网”的效果看清,我们可以走一遍真实的一步选词现场:
- 场景 A(高确定性语境):提示词是
"中国的首都是"。模型给出"北京" (94%)、"南京" (3%)、"长安" (1%)以及十万个微弱长尾词。此时 Top-P (p = 0.9) 的圆圈瞬间缩成只剩"北京"1 个词;如果换成 Top-K (K = 50),反而会硬塞进 49 个极低概率的噪音词。 - 场景 B(高开放性创意语境):提示词是
"推开阁楼木门,我看见"。模型给出几十个势均力敌的候选:"一只" (8%)、"满屋" (7%)、"一封" (6%)、"尘封" (5%)……此时 Top-P 自动撑开圆圈容纳几十个好词;如果用户把温度拉到1.4激发灵感,再叠上 Min-P (0.08),就能把概率掉到0.6%以下的离谱词一刀切掉,保住文风不胡言乱语。
03 把关键公式读成人话
解码里最常打交道的两组公式,一个是调控分布陡缓的温度缩放,另一个是防止复读的频率与存在惩罚。
先看温度缩放后的 Softmax 概率:
把公式读成直觉:-
- 除以
相当于缩放“分差”:当 时,原本只差 1 分的两个词,分差瞬间被拉大到 10 分,经过 放大后胜者通吃( 倍差距);当 时,分差被压扁一半,分布的 信息熵 升高,大家雨露均沾。 - 工程上
时绝不会真去做除法,而是直接切到 argmax避免数值溢出。
再看抑制复读的加性惩罚(Frequency & Presence Penalty):
把公式读成直觉:-
- 频率惩罚
是“按次累进扣分”:你越反复念叨同一个词,它被扣得越狠,专治局部死循环。 - 存在惩罚
是“一次性入场罚单”:只要用过一次就固定扣一笔,不再加码,专门鼓励模型别老围着老话题打转,多聊聊新概念。
04 它在模型里怎么工作 & 与上下游的关系
在整条推理流水线里,解码器是承上启下的“临门一脚”:
- 向上承接模型与词表:Transformer 的最后一个线性层把隐状态投射到整个 BPE 词表 维度,吐出
(B, |V|)的原始 Logits。现代引擎会按严格流水线依次执行:历史惩罚 → 语法掩码 → 温度缩放 → Top-K / Min-P / Top-P 截断 → Softmax 采样。 - 为什么处理器的先后顺序不能乱调? 举个直观例子:假设先按
Top-P = 0.9截断,再去除以极低温度0.1,原本应该被低温压死的二三名已经被保留进了候选池;反过来先做温度缩放,分布已经收尖,Top-P 才能准确收紧。同理,历史重复惩罚(Repetition Penalty)也必须先作用在原始 Logits 上,而且要小心区分正负号——对负分做除法反而会把分数抬高! - 横向协同推理加速:每采样出 1 个新 Token,它会被立即喂回下一轮前向并追加到 KV Cache 中;如果开启了 投机解码,解码层还会用“修正拒绝采样”同时校验小模型猜出的一串草稿词,把串行解码提速数倍且数学上零失真。
- 向下赋能推理与智能体:在 测试时计算扩展(CoT / Self-Consistency) 中,我们需要适当抬高温度(如
)让模型探索多条不同解法再投票;而在 Agent 工具调用 里,则要把温度压低并叠加 FSM / CFG 语法掩码,确保每一次函数调用参数都能被后端直接解析。
05 演化对比与避坑备忘
| 策略 | 一句话直觉 | 最适合的场景 | 最大软肋 |
|---|---|---|---|
| Greedy / 低温度 | 永远押注头号种子 | 代码补全、抽取、低熵事实问答 | 写长文容易呆板复读 |
| Beam Search | 并行押注 | 翻译、摘要、语音转录 | 显存翻 |
| Top-P (Nucleus) | 动态圈出累计概率 | 日常对话与通用生成默认方案 | 极高温度下尾部仍可能漏杂音 |
| Min-P | 只留不低于冠军 | 高温度创意写作、头脑风暴 | |
| FSM / CFG 约束 | 按语法状态机把非法词直接置 | JSON Schema、SQL、工具调用 | 提示词半截拼接易触发分词撕裂 |
三个一线工程最常踩的坑,记住就能少熬很多夜:
- 千万别把
repetition_penalty开太大去写代码或 JSON:引号、逗号、缩进空格、return这些符号本来就要反复出现,惩罚因子超过1.2会逼得模型为了躲避扣分而故意漏括号、瞎编怪异变量名。 - 语法掩码和截断顺序搞反会直接炸
NaN:如果先把概率低的词用top_k砍光,再叠加上语法掩码,万一合法词全被前一步砍掉了,整行全是,Softmax 立刻吐出 NaN。务必先加语法掩码(或保底留下合法池里的最高分),再做截断。 - 当心子词边界撕裂(Token Healing):假设你的 Prompt 以半截英文或未闭合引号结尾,直接往后接新 Token 可能拼出训练集里从未见过的怪异切分。成熟引擎会把最后一个 Token 退回一步,按字符前缀约束重新对齐再继续生成;遇到 JSON 里的固定键名还能直接“快进跳步(Fast-Forward)”,省下好几次解码开销。
- 不要把“采样随机性”和“模型幻觉”混为一谈:调低温度(如
temperature = 0)只能让模型输出变得稳定可复现,并不能消除它本身不会的知识盲区;真要降低事实错误,还得靠 RAG 检索增强 或 对齐微调 来补齐知识边界。
需要查阅完整形式化定义、Beam Search 长度惩罚、FSM 索引预编译细节与工业级
sample_next_tokenPyTorch 代码?按快捷键M或点击顶部技术 Wiki即可随时切换。
大语言模型(LLM)在单次 Transformer 前向传播结束后,并不会直接吐出确定文本,而是给出 分词器词表 空间上的未归一化对数几率(Logits)。解码策略(Decoding Strategy) 决定了模型如何依据这一概率分布,在每一时间步将连续分布映射为离散的 Token 序列。不同的解码算法直接塑造了生成文本的事实准确性、创造性、重复率乃至输出格式的严格合法性,也是 投机解码、测试时计算扩展 与 Agent 工具调用 的底层接口。
直观理解
如果把语言模型比作一位博览群书的作家,模型权重决定了他脑中对“下一个词可能是什么”的概率直觉,而解码策略则是落笔时的选择性格:贪心解码(Greedy Search)像循规蹈矩的速记员,每次只选最稳妥的词;核采样(Top-P)像富有灵感的创作者,只在“靠谱候选池”中随性发挥;而结构化约束解码(Constrained Decoding)则像戴着语法模具写作,凡是不符合 JSON 或正则规范的字词会被瞬间划掉,确保成品百分百合规。
问题动机与演进背景
自回归语言模型将联合序列概率分解为条件概率的连乘:
在传统机器翻译与语音识别任务中,人们习惯寻找全局最大后验概率(MAP)序列,由此诞生了贪心搜索与束搜索(Beam Search)。然而,Holtzman 等人在 2019 年的经典研究 The Curious Case of Neural Text Degeneration(arXiv:1904.09751 ↗)中指出,在开放域文本生成任务中,最大化似然往往导致文本退化(Text Degeneration):模型陷入高频空洞句式与死循环复读。这是因为真实人类语言的概率轨迹并非始终贴着分布最高峰行进,而是在合理的 信息熵与惊奇度(Surprisal) 区间内波动。
为解决确定性搜索的死板与朴素随机采样的长尾胡言乱语(Unreliable Tail)之间的矛盾,解码技术沿三条主线演进:
- 概率截断与重塑:从温度缩放(Temperature)到 Top-K、Top-P(Nucleus Sampling),再到近年来适应高低温动态分布的 Min-P 采样。
- 启发式惩罚控制:引入重复惩罚(Repetition Penalty)、频率惩罚(Frequency Penalty)与存在惩罚(Presence Penalty),从 Logits 层面抑制局部循环复读。
- 形式化约束生成:面向智能体工具调用与结构化数据抽取,利用确定有限自动机(FSM)或上下文无关文法(CFG)动态屏蔽非法 Token,实现零幻觉格式输出。
核心原理与数学推导
设模型在第
1. 确定性搜索:Greedy Search 与 Beam Search
贪心搜索(Greedy Search) 在每一步选择概率最大的 Token:
贪心搜索的时间复杂度最低,但具有短视性(局部最优不等于全局最优)。束搜索(Beam Search) 在每步维护 <eos> 后对不同长度的候选路径施加长度惩罚(Length Penalty),以消除连乘导致的偏爱短句倾向(Wu et al., GNMT 经典公式):
其中超参数
2. 温度缩放(Temperature Scaling)
温度参数
- 当
时,最大值分量占据全部概率质量,采样退化为 Greedy Search; - 当
时,保持模型原始校准分布; - 当
时,分布趋于平坦,尾部低概率 Token 获得更高被采中机会,输出更具随机性但也更易偏题。
3. 分布截断:Top-K、Top-P 与 Min-P
将所有 Token 按概率降序排列为
- Top-K 采样:仅保留概率最高的前
个 Token,将其余位置概率置零并重新归一化。其缺陷在于 是静态常数:当分布极度尖锐(如固定搭配)时,固定 会纳入噪声长尾;当分布平坦(如开放创意开头)时,固定 又会过早截断合理候选。 - Top-P(Nucleus Sampling,核采样):动态寻找最小的候选集合
,使得累计概率质量首次达到或超过阈值 :
Top-P 能够随上下文不确定性自适应调整候选集大小,成为现代 LLM 服务的默认采样基准。
- Min-P 采样(Nguyen et al., 2024):在高温度(如
)下,Top-P 仍可能因平坦尾部引入大量绝对概率极低的无关词。Min-P 以当前步最高概率 为锚点,按比例设定动态下界:
当模型高度确信(
4. 重复、频率与存在惩罚
为了遏制生成循环,常见惩罚机制直接作用于原始 Logits
- Repetition Penalty(CTRL 乘性惩罚):对已在上下文中出现过的 Token
,引入因子 ,需注意区分正负 Logit 符号(若对负数直接相除反而会放大其值):
- Frequency 与 Presence Penalty(加性惩罚):设 Token
在已生成序列中的出现次数为 ,则
其中
5. 结构化约束解码(FSM / Grammar-Guided Decoding)
在 JSON Schema、SQL、函数调用等场景中,合法输出构成形式语言
朴素实现需在每步遍历全部
算法架构与数据流图
以下流程图展示了现代 LLM 推理引擎中单步 Logits Processor 管线的完整数据流与执行顺序:
图表加载中...
复杂度与横向对比表
设单步词表大小为
| 策略名称 | 单步额外计算复杂度 | 确定性 | 多样性 | 典型缺陷 | 适用场景 |
|---|---|---|---|---|---|
| Greedy Search | 完全确定 | 极低 | 易局部次优、长文复读退化 | 代码补全基准、事实抽取、低熵问答 | |
| Beam Search | 确定 | 低 | 显存与计算放大 | 机器翻译、摘要、短文本精确转录 | |
| Top-K Sampling | 随机 | 中 | 静态 | 通用对话(常与 Top-P 联用) | |
| Top-P (Nucleus) | 随机 | 中高 | 极高温度下尾部仍可能泄露低质词 | 绝大多数现代对话与开放创作场景 | |
| Min-P Sampling | 随机 | 高 | 创意写作、高温度推理探索 | ||
| FSM / CFG 约束 | 预编译后近 | 可配 | 受语法限制 | 极端约束可能扭曲语义概率(Tokenization 对齐问题) | JSON 输出、Agent 工具调用、SQL 生成 |
核心 PyTorch 参考实现
下面的自包含 PyTorch 代码实现了一个工业级风格的解码管线,完整涵盖重复/频率/存在惩罚、温度缩放、Top-K、Top-P、Min-P 以及结构化掩码过滤:
python
import torch
import torch.nn.functional as F
from typing import Optional
def sample_next_token(
logits: torch.Tensor, # (B, V) 原始未归一化分数
generated_ids: Optional[torch.Tensor] = None, # (B, T) 已生成历史序列
temperature: float = 1.0,
top_k: int = 0,
top_p: float = 1.0,
min_p: float = 0.0,
repetition_penalty: float = 1.0,
frequency_penalty: float = 0.0,
presence_penalty: float = 0.0,
allowed_token_mask: Optional[torch.Tensor] = None, # (B, V) bool 约束掩码
) -> torch.Tensor:
"""执行完整解码管线并返回下一时间步 Token ID,形状为 (B, 1)。"""
logits = logits.float().clone() # (B, V) 使用 FP32 避免 Softmax 溢出
batch_size, vocab_size = logits.shape
# 1. 应用历史 Token 惩罚项(必须在温度缩放前作用于原始 Logits)
if generated_ids is not None and generated_ids.numel() > 0:
if repetition_penalty != 1.0:
# 取出历史出现位置对应的 logits
score = torch.gather(logits, 1, generated_ids) # (B, T)
score = torch.where(
score > 0, score / repetition_penalty, score * repetition_penalty
)
logits.scatter_(1, generated_ids, score)
if frequency_penalty != 0.0 or presence_penalty != 0.0:
# 统计词频 counts: (B, V)
counts = torch.zeros_like(logits)
ones = torch.ones_like(generated_ids, dtype=logits.dtype)
counts.scatter_add_(1, generated_ids, ones)
logits -= frequency_penalty * counts
logits -= presence_penalty * (counts > 0).to(logits.dtype)
# 2. 结构化语法掩码(FSM / CFG):非法 Token 直接置为 -inf
if allowed_token_mask is not None:
logits = logits.masked_fill(~allowed_token_mask, float("-inf"))
# 3. 低温极值直接退化为贪心搜索,避免除以 0
if temperature <= 1e-5:
return torch.argmax(logits, dim=-1, keepdim=True) # (B, 1)
# 4. 温度缩放
logits = logits / temperature
# 5. Top-K 过滤
if top_k > 0 and top_k < vocab_size:
kth_vals, _ = torch.topk(logits, top_k, dim=-1) # (B, K)
threshold = kth_vals[:, -1:].expand_as(logits) # (B, V)
logits = logits.masked_fill(logits < threshold, float("-inf"))
# 6. Min-P 过滤(相对最高概率的动态下界)
if min_p > 0.0:
probs = F.softmax(logits, dim=-1) # (B, V)
max_prob, _ = probs.max(dim=-1, keepdim=True) # (B, 1)
min_mask = probs < (min_p * max_prob)
logits = logits.masked_fill(min_mask, float("-inf"))
# 7. Top-P (Nucleus) 过滤
if 0.0 < top_p < 1.0:
sorted_logits, sorted_indices = torch.sort(logits, descending=True, dim=-1)
sorted_probs = F.softmax(sorted_logits, dim=-1)
cum_probs = torch.cumsum(sorted_probs, dim=-1) # (B, V)
# 移除累计概率超过 top_p 的尾部,右移一位以确保首个跨阈值 Token 被保留
sorted_remove_mask = cum_probs > top_p
sorted_remove_mask[:, 1:] = sorted_remove_mask[:, :-1].clone()
sorted_remove_mask[:, 0] = False
# 映射回原始词表索引
remove_mask = torch.zeros_like(sorted_remove_mask)
remove_mask.scatter_(1, sorted_indices, sorted_remove_mask)
logits = logits.masked_fill(remove_mask, float("-inf"))
# 8. 最终归一化与多项式采样
final_probs = F.softmax(logits, dim=-1) # (B, V)
next_token = torch.multinomial(final_probs, num_samples=1) # (B, 1)
return next_token
if __name__ == "__main__":
torch.manual_seed(42)
B, V = 2, 100
dummy_logits = torch.randn(B, V)
history = torch.tensor([[3, 3, 7], [12, 5, 12]])
# 假设 FSM 仅允许前 20 个 Token
fsm_mask = torch.zeros(B, V, dtype=torch.bool)
fsm_mask[:, :20] = True
token = sample_next_token(
dummy_logits,
generated_ids=history,
temperature=0.8,
top_k=40,
top_p=0.9,
min_p=0.05,
repetition_penalty=1.1,
allowed_token_mask=fsm_mask,
)
print("Sampled tokens:", token.squeeze(-1).tolist())工程实践与常见陷阱
工程实践
- 处理器顺序不可随意颠倒:工业引擎(如 vLLM、HuggingFace Transformers)普遍遵循“惩罚项 → 温度缩放 → Top-K / Min-P / Top-P”的顺序。若先执行 Top-P 再除以低温
,原本应当被截断的次优词会被保留下来;而将语法掩码提前或置于采样前能确保采样分布严格归一化在合法候选集合内。 - 代码与推理任务的推荐配置:数学推理、代码生成与 Agent 工具调用建议采用低温度(
)或贪心解码;当采用 Self-Consistency(多数投票)时,则需适当提高温度( )并配合 Top-P( )以激发出不同的推理路径。 - 快速跳步(Fast-Forward Tokens)优化:在 JSON Schema 约束解码中,像
{"name": "这类固定键名在语法上只有唯一合法转移路径,推理引擎(如 SGLang Compressed FSM)可将其整段一次性拼入输入并做 Prefill,省去多次自回归 Decode 步,大幅降低结构化输出延迟。
常见陷阱
- Tokenization 边界撕裂(Token Healing):约束解码基于子词(BPE)词表工作,而正则表达式基于字符工作。当提示词以半个词或引号结尾时,直接拼接可能导致非标准切分,破坏模型训练时的条件分布。生产环境中常借助 Token Healing(回退最后一个 Token 并按前缀约束重新采样)缓解该问题。
- 过度施加重复惩罚破坏代码与格式化文本:在生成 JSON、Markdown 表格或 Python 代码时,缩进空格、引号、逗号与
return等关键字天然需要高频重复。若设置过大的repetition_penalty(如大于 1.2),会导致语法崩溃或模型被迫编造诡异变量名。 - 空候选集引发 NaN:当
allowed_token_mask与过严的top_k或min_p叠加时,可能出现所有合法 Token 均被置为的情况,进而使 softmax产生NaN。工程实现中必须先应用语法掩码再执行截断(或强制保留掩码内得分最高的至少 1 个 Token)。
延伸阅读与参考论文
- Holtzman, A., Buys, J., Du, L., Forbes, M., & Choi, Y. (2019). The Curious Case of Neural Text Degeneration. ICLR 2020. arXiv:1904.09751 ↗(提出 Nucleus / Top-P Sampling,系统分析最大似然解码导致的退化问题)
- Wu, Y., et al. (2016). Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation. arXiv:1609.08144 ↗(经典 Beam Search 长度惩罚公式)
- Keskar, N. S., et al. (2019). CTRL: A Conditional Transformer Language Model for Controllable Generation. arXiv:1909.05858 ↗(提出乘性 Repetition Penalty)
- Nguyen, M., Baker, A., Neo, C., Roush, A., Kirsch, A., & Shwartz-Ziv, R. (2024). Turning Up the Heat: Min-P Sampling for Creative and Coherent LLM Outputs. ICLR 2025. arXiv:2407.01082 ↗(提出 Min-P 动态相对阈值采样)
- Willard, B. T., & Louf, R. (2023). Efficient Guided Generation for Large Language Models. arXiv:2307.09702 ↗(Outlines:基于 FSM 索引预编译的高效约束解码)
- Dong, Y., et al. (2024). XGrammar: Flexible and Efficient Structured Generation Engine for Large Language Models. arXiv:2411.15100 ↗(上下文无关文法 CFG 与词表拆分加速引擎)