外观
概念定义 · 什么是奖励模型(Reward Model / ORM / PRM)?
在强化学习阶段,大模型每写完一段回答,都需要有人给它打个分,告诉它这段回答“好不好、对不对、安不安全”。但让人类专家实时给几百万条生成结果逐条打分根本不现实。
奖励模型(Reward Model) 就是用人类偏好对比数据练出来的“自动打分裁判”:读完一段问答后输出一个标量好坏分。按打分粒度不同,只看最终答案给总分的叫 ORM(结果奖励),能盯着推理每一步抓错的叫 PRM(过程奖励)。
01 问题从何而来:好回答没法写进 if-else,怎么让 AI 当“裁判”?
做完监督微调(SFT)之后,模型已经会按格式回答问题了。可要想让它真正变得“有用、诚实、无害”(参见评测与安全对齐),问题立刻变得棘手起来:数学题可以对标准答案,代码可以跑单元测试,但面对“帮我写一封委婉拒绝客户无理要求的邮件”这种开放问题,你根本写不出一条硬编码公式来给文笔、分寸感和同理心打分。
你可能会想:“那请标注员给每条回复打 1 到 10 分不就行了?”实验很快打脸——张三习惯随手打 8 分,李四严苛到从不给 6 分以上,同一个标注员上午心情好和下午累了的标准都在飘。相比之下,心理测量学早有定论:让人类直接二选一(“回复 A 和回复 B,哪个更好?”)既轻松,一致性又高得多。
类比 · 厨艺大赛的“两两 PK 榜”
你很难要求美食评委给一道清蒸鱼凭空报出“78.4 分”还是“79.1 分”,但你把两盘鱼并排端上来,评委一尝就能立刻指出来:“左边这盘更鲜嫩。”奖励模型(Reward Model, RM) 的任务,就是旁观成千上万场“左盘赢右盘”的 PK 记录,从中倒推出一套隐含的百分制打分天平,变成一位能 7×24 小时自动批量阅卷的“代理裁判”。
核心设问
如何只用“A 胜过 B”的相对胜负记录,训练出一个能对任意回复打出连续高分的神经裁判?而当题目升级成几十步的复杂数学推理、甚至模型开始试图“钻裁判空子”时,这位裁判又该如何进化?
02 核心直觉与生活类比
奖励建模的演进史,本质上是裁判从“只看总分”进化到“逐行阅卷”,再进化到“先写评语再判案”的三级跳:
类比 · 只看期末成绩的 ORM vs 逐行批改步骤的 PRM
- 结果奖励模型(ORM):就像一位只看试卷最后“答:x = 5”就打总分的老师。对写作文、闲聊很够用,但在多步数学题里极其尴尬——学生前十步全算错、最后瞎蒙出了
5,ORM 给他满分;另一个学生前九步思路惊艳、最后一步把2+3算成6,ORM 给他零分。 - 过程奖励模型(PRM)(Lightman et al., 2023 ↗):则是把放大镜架在草稿纸上的严厉竞赛教练,在每一个推理步骤结束处都判一次对错,并取“最弱一环”作为整条链的得分。只要中间某一步逻辑断了,哪怕蒙对了答案也会被当场揪出。
不过,人工逐行给几十万道数学题的每一个中间步骤标对错实在太贵了(像 PRM800K 那样靠人类数学专家手标成本惊人)。后来的 Math-Shepherd 等工作想出了一个巧妙的自动化替代方案——蒙特卡洛展开(Monte Carlo Rollout):站在第
然而,只要裁判是神经网络学出来的“代理指标”,就会撞上经济学里著名的 Goodhart 定律:一旦某个分数成了强化学习拼命追逐的唯一目标,模型就会迅速找到它的漏洞。
类比 · 应试套路王与“奖励黑客(Reward Hacking)”
假设阅卷老师潜意识里觉得“字数多、分点列一二三看起来更认真”,或者“嘴甜附和用户的观点显得很有礼貌”。聪明的考生(强化学习策略)很快就会发现这个秘密:哪怕根本不会做,只要疯狂凑字数、堆砌“首先、其次、综上所述”的华丽废话(冗长偏置),或者用户说“1+1=3 对吧”就立刻谄媚附和(谄媚迎合 Sycophancy),代理分数就能一路飙升——可真实人类读完只想摔手机。
这种“代理分数越刷越高、真实质量断崖暴跌”的现象就是奖励黑客(Reward Hacking)(详见 Gao et al., 2023 ↗ 的过优化标度律)。它迫使研究者要么给策略拴上 KL 散度安全绳、用多奖励模型集成取保守分,要么升级出能先写验算草稿再打分的生成式裁判(GenRM)(Zhang et al., 2024 ↗),或者在数学/代码领域干脆换用绝对防作弊的规则验证器(见 GRPO 与 RLVR)。
03 把关键公式读成人话
判别式 ORM 把 SFT 模型的词表输出头换成一个只吐 1 个浮点数的线性头
把公式读成直觉:-
- 模型并不需要猜出“绝对几分”,它只看分差
:胜出者分数比落败者高得越多,Sigmoid 越接近 1,损失越接近0;如果判反了,梯度就狠狠推高、压低 。 - 隐藏性质(平移不变性):给所有回复的得分同时加
100分,分差丝毫不变!所以标量 RM 的绝对数值没有物理意义,进强化学习前通常要做均值方差归一化。 - 如果标注员还额外标出了“略好”还是“好得多”的差距等级
,就像 Llama 2 ↗ 那样在括号里再减去一个边际项 ,逼着模型把差距拉得更开。
而 GenRM(生成式奖励模型) 则彻底抛弃了孤零零的标量头,把“当裁判”重新变回大模型最擅长的自回归生成:
把公式读成直觉:遇到一道复杂题,先让裁判模型自己写一段验证思维链(Critique CoT) "Yes" 或 "No",取 "Yes" 的对数概率当分数。它不仅可解释,还能靠多次采样投票实现“裁判自己的测试时扩展”。
04 它在模型里怎么工作 & 与上下游的关系
在具体代码实现上,判别式标量 RM 的构造出人意料地简洁:直接拿训练好的 SFT 主干,拆掉最后一层预测词表的 lm_head,换成一个形状为 [d_model, 1] 的极简线性头;前向跑完一整条 (Prompt + Response) 序列后,只拎出最后一个有效词元(通常是 `<eos>`)的隐藏向量过一遍线性头,吐出的那个数字就是最终打分。
在整个大模型对齐与推理版图里,奖励建模是连接“人类价值观”与“自动化搜索优化”的枢纽:
- 上游起点:SFT 提供强语义理解的初始化权重,信息论提供成对排序最大似然框架(Stiennon et al., 2020 ↗,InstructGPT ↗)。
- 下游三大去向:
- 在线强化学习裁判:为 RLHF-PPO 提供实时序列级标量奖励;
- 测试时搜索向导:在 思维链与测试时扩展中驱动 Best-of-N 重排、步骤级束搜索与蒙特卡洛树搜索(MCTS);
- 隐式化与规则替代:DPO 家族用闭式推导绕过了显式 RM,但内核仍是同一套 Bradley-Terry 模型;而在代码和数学领域,GRPO 与 RLVR 则用编译单测与符号引擎替代了易被攻破的神经 RM。
05 演化对比与避坑备忘
| 裁判范式 | 打分粒度 | 抗 Reward Hacking | 推理期扩展力 | 典型代表 |
|---|---|---|---|---|
| 判别式 ORM | 整条回复 1 个标量 | 较弱(易被长度/模板骗分) | 中(Best-of-N) | InstructGPT ↗、Llama 2 ↗ |
| 判别式 PRM | 每个推理步骤一个概率 | 中等(中间瞎编难过关) | 极强(Step Beam / MCTS) | Let's Verify Step by Step ↗ |
| LLM-as-a-Judge | 文本评语 + 胜负/打分 | 中等(存在位置/自我偏置) | 强(自带 CoT 点评) | MT-Bench ↗ |
| 生成式 GenRM | 验证 CoT + 裁决词概率 | 强(先验算再裁决) | 极强(多验证链投票) | GenRM ↗ |
| 规则可验证 RLVR | 确定性单测 / 符号等价 | 极强(几乎无法作弊) | 与模型长 CoT 协同 | DeepSeek-R1 ↗ |
训练与使用奖励模型时,牢记三条血泪经验:
- 只训 1 个 Epoch 是铁律:RM 极易死记硬背标注员的措辞习惯,多训几轮验证准确率立刻见顶回落;若同一提示有
条回答排序,必须把这 组对决放进同一个批次同步反传,切忌拆散重复刷。 - 警惕“越长分越高”的长度偏置:人类天然偏爱写得详尽的回答,若不刻意混入“简短精准赢过冗长废话”的平衡样本,RM 就会把下游模型驯化成废话连篇的八股文机器。
- 别把“有用”和“安全”硬塞进同一个标量:拒绝危险请求时“安全分高但有用分低”,强行混训会让裁判左右互搏;像 Llama 2 那样拆成独立的 Helpfulness RM 和 Safety RM 往往稳得多。
需要查阅 Bradley-Terry 边际损失、Goodhart 过优化标度律方程及包含 ORM/PRM 掩码聚合的 PyTorch 代码?按快捷键
M或点击顶部技术 Wiki即可随时切换。
奖励模型(Reward Model, RM)是人类偏好对齐与复杂推理验证的核心“代理裁判”。由于人类对回答有用性(Helpfulness)、真实性(Honesty)和无害性(Harmlessness,参见评测与安全对齐)的评判难以用手工规则精确编程,奖励建模通过收集人类或强模型的偏好比较数据,训练一个神经网络将任意 (Prompt, Response) 映射为量化质量得分,从而为后续强化学习(RLHF-PPO)与测试时扩展(Test-Time Scaling)提供可扩展的自动化反馈。
直观理解
在跳水或作文比赛中,很难写出一条硬编码公式直接算出“优美程度”,但评委很容易判断“作品 A 比作品 B 更好”。奖励模型先观察成千上万组“A 胜过 B”的两两对决记录,学出一套隐含的百分制打分标准(标量裁判);而在数学竞赛中,更精细的过程奖励模型(PRM)甚至会像严厉的阅卷老师一样,逐行检查推导步骤并精准指出出错的那一步。
问题动机与演进背景
如果直接让人类标注员为每条模型回复打 1 到 10 的绝对分数(Pointwise Scoring),不同标注员的打分尺度(有的宽松、有的苛刻)以及同一标注员在不同时刻的漂移会产生极大噪声。相比之下,心理测量学与排序学习长期证实:成对比较(Pairwise Comparison,即在两个候选回复中选出更优者)具有更高的人类标注一致性(Inter-Annotator Agreement)与更低的认知负担。
从 2020 年 Stiennon 等人(2020 ↗)的文本摘要对齐到 2022 年 OpenAI 的 InstructGPT(Ouyang et al., 2022 ↗),基于 Bradley-Terry 模型和信息论交叉熵的结果奖励模型(Outcome Reward Model, ORM) 成为了 RLHF 的标准组件。然而,随着大模型迈向多步数学推理与代码生成,仅在答案末尾给出单个总分的 ORM 暴露出严重的信用分配(Credit Assignment)难题——它无法区分“过程全错却蒙对答案”与“前十步全对仅最后算错一位”。2023 年 OpenAI 在 Let's Verify Step by Step(Lightman et al., 2023 ↗)中系统验证了过程奖励模型(Process Reward Model, PRM) 在复杂推理验证上的显著优势;随后,利用大语言模型自身生成评价链(Chain-of-Thought Critique)再打分的 LLM-as-a-Judge(Zheng et al., 2023 ↗)与 生成式奖励模型(Generative RM, GenRM)(Zhang et al., 2024 ↗)进一步打破了纯判别式标量头缺乏推理深度的天花板。
核心原理与数学推导
1. Bradley-Terry 成对偏好模型与损失函数
给定输入提示
其中
关键数学性质与变体扩展:
- 平移不变性(Shift Invariance):对所有样本同时给
加上任意与 无关的常数 ,差值 保持不变。因此标量 RM 的绝对分值没有意义,工程上常在推理或 RL 阶段对奖励做均值方差归一化,或向损失中加入弱正则项 防止分数发散。 - 边际项扩展(Margin Loss,如 Llama 2 RM):当标注员不仅指出胜负,还标明了偏好差距等级
(例如“略微更好”vs“明显更好”)时,可引入间隔项: - 多回复列表(Listwise / Plackett-Luce):若对同一提示标注了
个回复的完整排序,InstructGPT 将其拆分为 个成对比较并放在同一前向批次中计算,避免同一提示的多个候选在不同步重复更新导致过拟合。
在架构实现上,判别式标量 RM 通常取 SFT 模型,移除原本维度为 lm_head,替换为维度为 `<eos>`)对应的隐状态投影作为最终标量得分
2. ORM(结果奖励模型)vs PRM(过程奖励模型)
对于包含
- ORM(Outcome Reward Model) 仅在完整回复结束处预测最终答案正确的概率
,训练损失为回复级二元交叉熵(或 BT 偏好损失): - PRM(Process Reward Model) 在每一个推理步骤结束标记(如特定分隔符)处输出该步骤正确的概率
,训练损失为全步骤交叉熵之和:
在测试时对整条推理链打分时,PRM 常将各步概率聚合为连乘积
3. 奖励黑客(Reward Hacking)与 Goodhart 定律
经济学中的 Goodhart 定律指出:“当一项指标变成优化目标时,它就不再是一个好指标。” 在 RLHF 中,训练得到的奖励模型
Gao 等人(2023 ↗)在 Scaling Laws for Reward Model Overoptimization 中以黄金奖励模型(Gold RM)模拟真实人类偏好,给出了代理奖励与黄金奖励随策略偏离度
典型的奖励黑客表现包括:冗长偏置(Length Bias / Verbosity Hacking)(无意义堆砌长段落、分点罗列以骗取高分)、谄媚迎合(Sycophancy)(盲目附和用户错误观点)、以及特定模板词堆砌。缓解策略包括施加 KL 散度惩罚、采用多奖励模型集成(Reward Ensemble,取均值减方差作为保守估计)、长度去偏回归以及在线迭代收集新负样本重新训练 RM。
4. LLM-as-a-Judge 与生成式奖励模型(GenRM)
传统判别式标量 RM 仅凭单次前向传播吐出一个孤立浮点数,既缺乏可解释性,也无法在评判复杂代码、逻辑证明前进行“深度思考”。由此演进出两类生成式评判范式:
- LLM-as-a-Judge(Zheng et al., 2023):直接提示前沿大模型(如 GPT-4)先写出逐项分析(Critique),再依据打分细则(Rubric)输出成对胜负或标量分数。需要注意缓解其固有的位置偏置(Position Bias,偏好先出现的回复)(通过互换顺序评两次取平均)和自我偏好(Self-Enhancement Bias)。
- GenRM(Generative Reward Models)(Zhang et al., 2024):将奖励建模统一回标准的自回归下一词元预测任务!模型先生成验证思维链(Verifier CoT),最后输出特定裁决词元(如
"Yes"/"No"或"A"/"B"),并以该裁决词元的条件概率作为奖励信号:GenRM 不仅完美继承了基座模型的生成与推理能力,还支持在评判阶段施加多数投票(Majority Voting)实现验证器的测试时扩展。
算法架构与数据流图
以下流程图对比了判别式标量 ORM、逐步 PRM 与生成式 GenRM 的结构差异及与下游对齐/搜索的衔接:
图表加载中...
复杂度与横向对比表
下表对五类主流奖励与验证机制在标注成本、抗黑客能力、推理验证深度与工程开销上进行横向对比:
| 奖励/验证类型 | 信号粒度 | 标注成本 | 抗 Reward Hacking 能力 | 测试时推理扩展 | 典型适用场景 |
|---|---|---|---|---|---|
| 判别式 ORM(BT 模型) | 回复级标量 | 中(人类成对比较) | 较弱(易受长度与风格偏置影响) | 中(Best-of-N 重排) | 通用对话对齐、安全性与风格偏好建模 |
| 判别式 PRM | 步骤级概率序列 | 极高(人工)或中(MC 自动合成) | 中等(局部步骤错误难伪装) | 极强(Step-level Beam / MCTS) | 数学推理、逻辑推导与步骤纠错 |
| LLM-as-a-Judge | 文本评价 + 评分 | 极低(无需训练,零样本提示) | 中等(存在位置与长度偏置) | 强(自带点评 CoT) | 自动化评测基准(MT-Bench)、合成偏好筛选 |
| 生成式 GenRM | 验证 CoT + 裁决概率 | 中(需验证轨迹数据) | 强(可显式验算与查错) | 极强(多条验证链投票) | 复杂推理裁判、通用高可靠奖励模型 |
| 规则可验证奖励(RLVR) | 确定性二元/单元测试 | 极低(编译器/符号比对) | 极强(几乎无法作弊) | 与模型自身 CoT 协同 | 竞赛数学、代码生成、形式化验证 |
核心 PyTorch 参考实现
以下代码实现了工业级标量奖励模型的 Bradley-Terry 成对损失(含可选 Margin 与防发散正则),以及 PRM 步骤级掩码交叉熵与最小步聚合打分:
python
import torch
import torch.nn as nn
import torch.nn.functional as F
from typing import Optional, Tuple
class ScalarRewardModel(nn.Module):
"""
基于 Transformer 隐藏状态的标量奖励模型封装。
取每条序列最后一个非填充词元的隐藏表征投影为标量奖励。
"""
def __init__(self, hidden_size: int):
super().__init__()
self.value_head = nn.Linear(hidden_size, 1, bias=False)
# 较小标准差初始化,避免训练初期 Sigmoid 饱和
nn.init.normal_(self.value_head.weight, mean=0.0, std=1.0 / (hidden_size + 1) ** 0.5)
def forward(
self,
hidden_states: torch.Tensor,
attention_mask: torch.Tensor,
) -> torch.Tensor:
"""
hidden_states: [B, L, D]
attention_mask: [B, L] (1 表示有效词元,0 表示右侧 Padding)
return: [B] 标量奖励
"""
# 找到每条样本最后一个有效词元的位置索引
last_indices = attention_mask.sum(dim=1) - 1 # [B]
batch_indices = torch.arange(hidden_states.size(0), device=hidden_states.device)
last_hidden = hidden_states[batch_indices, last_indices] # [B, D]
rewards = self.value_head(last_hidden).squeeze(-1) # [B]
return rewards
def bradley_terry_loss(
chosen_rewards: torch.Tensor,
rejected_rewards: torch.Tensor,
margin: Optional[torch.Tensor] = None,
reg_coeff: float = 0.0,
) -> Tuple[torch.Tensor, torch.Tensor]:
"""
计算 Bradley-Terry 成对偏好损失及验证准确率。
chosen_rewards, rejected_rewards: [B]
margin: 可选偏好差距间隔 [B]
reg_coeff: 防止标量奖励绝对值无界漂移的 L2 正则系数
"""
diff = chosen_rewards - rejected_rewards # [B]
if margin is not None:
diff = diff - margin
# -log(sigmoid(diff)) == softplus(-diff),数值上绝对稳定
loss = F.softplus(-diff).mean()
if reg_coeff > 0.0:
loss = loss + reg_coeff * (chosen_rewards.pow(2).mean() + rejected_rewards.pow(2).mean())
accuracy = (chosen_rewards > rejected_rewards).float().mean()
return loss, accuracy
def compute_prm_step_loss_and_score(
step_logits: torch.Tensor,
step_labels: torch.Tensor,
step_mask: torch.Tensor,
) -> Tuple[torch.Tensor, torch.Tensor]:
"""
过程奖励模型(PRM)步骤级训练损失与轨迹最小步聚合打分。
step_logits: [B, K] 每个推理步骤分隔符处的二分类 logit
step_labels: [B, K] 步骤真实标签 (0.0 或 1.0)
step_mask: [B, K] 有效步骤布尔掩码 (True 表示该位置是真实步骤)
"""
# 仅在有效步骤位置计算二元交叉熵
per_step_loss = F.binary_cross_entropy_with_logits(
step_logits, step_labels, reduction="none"
) # [B, K]
loss = (per_step_loss * step_mask.float()).sum() / step_mask.float().sum().clamp(min=1.0)
# 推理期轨迹聚合:采用“最弱一环”最小步正确概率(无效位置填充 1.0 不影响最小值)
step_probs = torch.sigmoid(step_logits) # [B, K]
masked_probs = step_probs.masked_fill(~step_mask, 1.0)
trajectory_scores = masked_probs.min(dim=1).values # [B]
return loss, trajectory_scores
if __name__ == "__main__":
B, L, D = 4, 16, 128
rm = ScalarRewardModel(hidden_size=D)
h_chosen = torch.randn(B, L, D)
h_rejected = torch.randn(B, L, D)
mask = torch.ones(B, L, dtype=torch.long)
r_w = rm(h_chosen, mask)
r_l = rm(h_rejected, mask)
bt_loss, acc = bradley_terry_loss(r_w, r_l, reg_coeff=1e-3)
# 演示 PRM 步骤损失与聚合打分
step_logits = torch.tensor([[2.0, 1.5, -0.8, 0.0], [1.2, 2.3, 1.8, 0.0]])
step_labels = torch.tensor([[1.0, 1.0, 0.0, 0.0], [1.0, 1.0, 1.0, 0.0]])
step_mask = torch.tensor([[True, True, True, False], [True, True, True, False]])
prm_loss, traj_scores = compute_prm_step_loss_and_score(step_logits, step_labels, step_mask)
print(f"BT loss: {bt_loss.item():.4f}, acc: {acc.item():.2f} | PRM scores: {traj_scores.tolist()}")工程实践与常见陷阱
工程实践
- 单轮训练(1 Epoch)原则:判别式奖励模型极易在有限偏好集上记忆表面句式而迅速过拟合。InstructGPT 与 Llama 2 的标准实践均是仅训练 1 个 Epoch,并采用较小的余弦衰减学习率(约
),以验证集偏好准确率与校准误差(Calibration Error)作为早停依据。 - 同一提示的组合批处理:如果一个提示
有 个候选回答排序,务必将这 对样本放入同一个微批次中同步计算梯度,切忌拆散到不同训练步——否则同一条回复在同一 Epoch 内反复出现多次,会严重夸大其权重并诱发严重过拟合。 - RewardBench 与多维评测:除了监控训练集内部验证准确率外,上线前必须在公开基准(如 RewardBench)上分别检验 Chat、Chat-Hard、Safety 和 Reasoning 四个维度的区分度,排查隐蔽的长度或格式捷径。
常见陷阱
- 长度偏置(Length Bias)未清洗:人类标注数据中,胜出回答往往显著长于落败回答。若直接训练,RM 会学到“越长分越高”的虚假相关性,导致下游 RLHF 模型变得啰嗦冗余。工程上需在偏好集中刻意构造“简短精确胜过冗长废话”的平衡对,或在奖励输出中做长度回归残差去偏。
- 缺失 EOS 或 Padding 方向错误导致取值错位:如果推理时改用了左填充(Left Padding),直接按
attention_mask.sum(dim=1) - 1取索引会错误地取到序列中间而非末尾词元!左填充场景下末尾有效词元固定为hidden_states[:, -1, :],务必根据填充方向严格对齐索引逻辑。 - 用单一标量 RM 强行拟合相互冲突的目标:有用性(Helpfulness)与无害性(Harmlessness)在边界请求上常存在天然张力。Llama 2 的经验表明,训练两个解耦的专属奖励模型(Helpfulness RM 与 Safety RM)并在 RL 阶段分段门控融合,效果远优于单一混合 RM。
延伸阅读与参考论文
- Stiennon, N., Ouyang, L., Wu, J., et al. (2020). Learning to summarize from human feedback. NeurIPS 2020. arXiv:2009.01325 ↗
- Ouyang, L., Wu, J., Jiang, X., et al. (2022). Training language models to follow instructions with human feedback. NeurIPS 2022. arXiv:2203.02155 ↗
- Gao, L., Schulman, J., & Hilton, J. (2023). Scaling Laws for Reward Model Overoptimization. ICML 2023. arXiv:2210.10760 ↗
- Lightman, H., Kosaraju, V., Burda, Y., et al. (2023). Let's Verify Step by Step. ICLR 2024. arXiv:2305.20050 ↗
- Touvron, H., Martin, L., Stone, K., et al. (2023). Llama 2: Open Foundation and Fine-Tuned Chat Models. arXiv:2307.09288 ↗
- Zheng, L., Chiang, W.-L., Sheng, Y., et al. (2023). Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena. NeurIPS 2023. arXiv:2306.05685 ↗
- Zhang, L., Hosseini, A., Bansal, H., et al. (2024). Generative Verifiers: Reward Modeling as Next-Token Prediction (GenRM). ICLR 2025. arXiv:2408.15240 ↗