外观
概念定义 · 什么是 RLHF 与 PPO 算法?
做完监督微调(SFT)的模型虽然会按格式回答,但依然容易一本正经胡说八道、迎合错误前提或输出有害内容。RLHF(基于人类反馈的强化学习) 让模型进入“自主试错 + 裁判打分 + 自我改进”的闭环:模型自己生成回答、奖励模型打高分或低分、强化学习算法据此调整策略。
PPO(近端策略优化) 是经典 RLHF 最核心的优化算法:它通过“裁剪更新幅度”和“拉住 KL 散度安全绳”,确保模型既能稳步拿高分,又不会为了钻裁判空子(Reward Hacking)而把原本流畅的语言能力彻底学歪。
01 问题从何而来:只会“照猫画虎”的 SFT 为什么不够?
监督微调(SFT)能很快把预训练基座调教成懂礼貌的问答助手,但它有一个先天的天花板:它只会教模型“模仿好答案”,从来没教过模型“什么是坏答案”,更没让模型在真实考场上自己练过手。
具体来说,SFT 藏着两个硬伤:
- 没有负反馈:哪怕一条回复前面九句话都完美无瑕、只有最后一句藏了一个致命的幻觉或危险建议,SFT 的交叉熵损失也只能提高标准答案的概率,没法指着这条错误回答说“绝对别这么写”。
- 暴露偏差(Exposure Bias):SFT 训练时每一步看到的上下文都是人类写好的完美前缀;可一旦上线自回归解码,模型必须顶着自己前面写出的不完美句子硬着头皮往下接。一旦某一步走偏,后面很容易一路滚雪球崩盘。
类比 · 临摹范文 vs 教练带队实战打模拟赛
SFT 就像让考生天天抄写满分范文,抄熟了确实能写出像模像样的开场白;但真正要把水平拉到顶尖,必须让考生亲自下场写完整张卷子,由裁判打分、教练逐段复盘“哪一笔写得妙、哪一笔扣了分”,在一次次试错中把真实得分拉上去——这就是 RLHF + PPO(InstructGPT ↗,PPO ↗)的核心思想。
核心设问
把大语言模型放进强化学习考场时,每写一个词都是一个动作,整段写完才拿一次总分——怎么判断几百个词里到底哪几个词立了功?又怎么保证模型不会为了讨好裁判而“步子迈太大”把原本的语言能力全练废?
02 核心直觉与生活类比
经典 RLHF-PPO 最令人望而生畏的,是它同时在显存里摆开了四个百亿级大模型的庞大阵仗。用一场专业体育训练来打比方,这四个角色的分工瞬间清清楚楚:
类比 · 赛场上的“四模型梦之队”
- Actor(运动员
,训练):真正上场答题的选手,初始化自 SFT 模型,每次根据题目自己生成完整回答,按教练和裁判的反馈调整打法。 - Reward Model(主裁判
,冻结):就是奖励建模训出来的打分官,只等运动员把整篇答卷写完才亮出一个最终总分。 - Critic(贴身教练
,训练):只靠结尾一个总分太粗糙了!教练站在旁边,运动员每吐出一个词,教练就实时估算“按你现在这个局势,最终大概能拿多少分”。如果某个关键转折词让教练的预期瞬间涨了 2 分,这个“超预期惊喜(优势)”就会被精准归功于这个词。 - Reference Model(安全绳
,冻结):留存一份初始 SFT 模型的克隆体。运动员每吐一个词,安全绳都拿它跟初始说话习惯比一比(算 KL 散度)——一旦为了钻裁判空子开始胡言乱语、偏离人话太远,安全绳就立刻往回猛拽。
光有四个人还不够:强化学习最怕“猛打方向盘翻车”。如果某次采样碰巧拿到一个超高分,传统策略梯度可能会把参数猛扯一大步,直接把策略分布拉崩。
类比 · 给方向盘装上“限位器”:PPO-Clip 的悲观哲学
PPO 之所以成为工业界最稳的策略梯度算法,全靠一个极其聪明的“防超速限位器”:允许把同一批采样的答卷重复学习几遍,但每次更新都盯紧新旧策略的概率比值
- 遇到好词想鼓励?涨到
倍就立刻松开油门,别兴奋过头; - 遇到坏词想惩罚?跌到
倍也立刻松手,防止把模型的表达多样性一下子全打死。
而把终态总分拆解回每一个词元的功臣,是 GAE(广义优势估计)(Schulman et al., 2016 ↗)。它就像一套带衰减记忆的复盘录像机:如果只看一步的教练预期变化(
03 把关键公式读成人话
RLHF-PPO 的每一步奖励并不是等到结尾才有,而是把“安全绳的逐字拉扯”和“结尾主裁判的打分”揉在了一起:
把公式读成直觉:- 前半段是每一步都扣的 KL 散度过路费:如果新策略
- 后半段
只在最后一个词( )触发,一次性结算奖励模型给整段回复打的终态总分。
有了每一步奖励
把公式读成直觉:-
是新旧策略在这个词上的概率比值,出发点正好是 1.0。- 外层的
构成了悲观下界:无论 是正是负,只要策略跑出 的安全信赖域,梯度就会被瞬间截断为 0,确保每一步更新都是温和、可控、不翻车的。
04 它在模型里怎么工作 & 与上下游的关系
把一整轮 PPO 训练的流水线按时间轴展开,你会清楚看到四个模型是如何接力运转的:
- Rollout 采样:Actor 读取一批 Prompt,自回归生成完整回复,并记下当时的
old_logprobs; - 三路评估:同一批回复分别送进冻结 Reference(算 KL 基准)、冻结 RM(打终态总分)和 Critic(估逐字价值);
- 倒推 GAE 与白化:把密集奖励和 Critic 估值拼起来算出逐词优势
,再对全批次做零均值单位方差白化; - 多轮 Mini-batch 更新:把这批经验拆成小批次更新 1–2 个 Epoch 的 Actor 与 Critic,再把新权重热同步回推理引擎,开启下一轮 Rollout。
正因为超过 70% 的墙上时间耗在第一步自回归采样上,现代框架(如 veRL、OpenRLHF)会把带 KV Cache / PagedAttention 的 vLLM/SGLang 推理引擎与 FSDP / 数据并行 训练引擎共置在同一批 GPU 上,通过显存卸载与权重热广播来回切换。
- 上游依赖:SFT 同时提供 Actor 的起点和冻结的 Reference;奖励建模提供冻结的 RM 以及 Critic 的初始权重。
- 向下催生两大简化革命:因为维护四个百亿模型实在太重、超参又敏感(详见 Secrets of RLHF ↗),学术界沿着两条路对 PPO 动了大手术——一条是彻底砍掉在线采样和裁判的离线解析路线 DPO 家族;另一条是保留在线探索但直接砍掉昂贵 Critic 网络的无价值网络路线,包括 RLOO ↗、REINFORCE++ ↗ 以及引爆推理模型的 GRPO 与 RLVR。
05 演化对比与避坑备忘
| 算法 | 常驻模型数 | 需训练模型 | 优势基线机制 | 信用分配粒度 | 典型特点 |
|---|---|---|---|---|---|
| 标准 RLHF-PPO | 4 个 | 2(Actor + Critic) | 独立 Critic 网络 + GAE | 词元级精细归因 | 显存最重、调参最难,但 Critic 训好后上限极高 |
| RLOO | 3 个 | 1(仅 Actor) | 同题其余 | 序列级共享优势 | 省掉一半训练显存,无偏低方差基线 |
| REINFORCE++ | 3 个 | 1(仅 Actor) | 全局批次回报白化 | 含 Token 级 KL 衰减 | 无需同题多采样(支持 |
| GRPO | 2–3 个 | 1(仅 Actor) | 同题组内 Z-Score | 序列级 + 独立 KL | 长思维链与可验证推理任务的当前事实标准 |
上手跑 RLHF-PPO 时,这三条避坑指南能救你免于深夜对着发散曲线抓狂:
- 开局先“热身教练”,别急着练运动员:Critic 虽然借了 RM 的壳,但 RM 只见过结尾
`<eos>`,对中间词的估值纯属瞎猜。前 10–50 步务必冻住 Actor、单独预热 Critic,否则乱七八糟的 GAE 信号开局就把 Actor 毁了。 - 用训练引擎重算
old_logprobs:Rollout 用 vLLM 跑、训练用 FSDP 跑,底层算子精度略有差异(Train-Inference Mismatch),直接拿推理吐出的对数概率算会让 PPO-Clip 频繁误触发;务必由训练引擎自己前向重算一遍基准概率。 - 盯紧熵、KL 和回复长度,别只盯着奖励分傻乐:代理奖励直线上升时,如果策略词元熵已经跌穿
0.1、或者回复越来越长且不吐`<eos>`,那大概率不是模型变聪明了,而是已经中了奖励黑客的圈套。
需要查阅四模型数据流图、完整 GAE 递推公式以及带裁剪价值损失的 PyTorch 参考实现?按快捷键
M或点击顶部技术 Wiki即可随时切换。
基于人类反馈的强化学习(Reinforcement Learning from Human Feedback, RLHF)结合近端策略优化(Proximal Policy Optimization, PPO)是引爆 ChatGPT 时代的核心对齐范式。它将大语言模型的文本解码生成过程建模为一个序列决策马尔可夫过程(MDP):在每个时间步,模型以已生成上下文为状态,从词表中采样下一个词元作为动作,并在序列结束时接收奖励模型(RM)的打分,通过在线试错(On-Policy Exploration)不断强化高分行为并抑制低分与有害输出。
直观理解
如果说 SFT 是“照着标准答案临摹”,那么 RLHF-PPO 就是“在裁判与教练的陪伴下实战演练”:
- Actor(运动员) 负责亲自答题;
- Reward Model(裁判) 看完完整答案后打总分;
- Critic(教练) 在运动员每写完一个词时预估“照这样写最终能拿多少分”,帮运动员找出真正加分的关键句子;
- Reference Model(安全绳) 时刻拉住运动员,防止其为了钻裁判空子而说出人类听不懂的乱码。
问题动机与演进背景
尽管 SFT 能快速教会模型遵循指令格式,但仅靠模仿学习存在两个根本局限:
- 缺乏负反馈与排序意识:SFT 的交叉熵损失只能被动提高示威回答的概率,无法明确告知模型“哪些看似流畅的回答实际上包含幻觉、偏见或危险建议”。
- 暴露偏差(Exposure Bias)与分布外泛化:SFT 始终在人类编写的静态上下文(Teacher Forcing)上计算损失,而推理时模型必须面对自己前序生成的非完美上下文。RLHF 通过让策略模型在真实采样轨迹上自主探索并接收奖励反馈,直接优化序列级期望质量。
在众多强化学习算法中,OpenAI 在 InstructGPT(Ouyang et al., 2022 ↗)中选择了 PPO(Schulman et al., 2017 ↗),原因在于其通过一阶裁剪代理目标(Clipped Surrogate Objective)实现了近似信赖域(Trust Region)的稳定单调更新,避免了传统策略梯度(REINFORCE)在大型神经网络上因步长失控导致的策略崩塌。近年来,为了削减 PPO 中庞大 Critic 网络的显存与训练成本,学术界相继提出了无需 Critic 的 RLOO(REINFORCE Leave-One-Out)(Ahmadian et al., 2024 ↗)、REINFORCE++(Hu, 2025 ↗)与 GRPO 等高效变体,离线对齐方向也衍生出了 DPO 家族。
核心原理与数学推导
1. RLHF 三阶段流程与四模型协同架构
经典的 RLHF 流水线包含三个阶段:(1)监督微调获得
- Actor(策略模型
,可训练):初始化自 ,负责生成回复并按 PPO 梯度更新。 - Reference(参考模型
,冻结):固定为初始 ,用于计算逐词元 KL 散度惩罚。 - Reward Model(奖励模型
,冻结):对生成的完整 (x, y)打出终态标量得分。 - Critic(价值模型
,可训练):通常初始化自 (带标量头),在每个词元位置 预测从当前状态出发的期望累积回报 ,用于估计优势函数以大幅降低梯度方差。
2. 带 KL 惩罚的优化目标与逐词元奖励构造
为了避免策略
在自回归生成轨迹
其中
3. 广义优势估计(GAE)与 Critic 价值学习
单纯用蒙特卡洛整条回报
定义时间步
则从序列末尾反向递推即可在线性时间
工程上通常对整个批次所有有效响应词元的
4. PPO-Clip 代理目标函数推导
为了在采集一批轨迹后复用该批数据执行多次小批量梯度更新(提升样本效率),需要引入重要性采样比率(Importance Sampling Ratio):
其中
这一“悲观裁剪”的直觉非常清晰:
- 当
(好动作,希望提高概率):一旦 ,目标被截平,不再继续推高该词元概率; - 当
(差动作,希望压低概率):一旦 ,目标被截平,不再过度惩罚该词元,从而防止策略熵瞬间坍塌。
5. 无 Critic 演进:RLOO 与 REINFORCE++
在百亿大模型上维护并同步训练与 Actor 同等尺寸的 Critic 模型代价极为高昂(几乎翻倍训练显存与计算量),且在 RL 初期 Critic 尚未收敛时会向 Actor 注入严重噪声。近年来两类 Critic-free 策略梯度算法展现出媲美甚至超越 PPO 的性价比:
- RLOO(REINFORCE Leave-One-Out)(Ahmadian et al., 2024):对同一提示
独立采样 条回复 ,将每条回复视作一个整体动作(Bandit 视角),利用其余 条样本的平均回报作为无偏基线(Leave-One-Out Baseline): - REINFORCE++(Hu, 2025):不强制要求每条提示采样多条回复,直接将逐词元 KL 惩罚注入回报
,随后在整个全局训练批次上执行优势白化归一化,并保留 PPO-Clip 裁剪以兼容多步离策略更新,兼顾了极低显存开销与高训练稳定性。
算法架构与数据流图
以下流程图描绘了标准 RLHF-PPO 单轮 Rollout 与多轮 Mini-batch 更新中四个模型的完整协作数据流:
图表加载中...
复杂度与横向对比表
设单模型参数量为
| 算法 | 需驻留模型数 | 需训练模型数 | 优势基线机制 | 信用分配粒度 | 显存与吞吐特征 |
|---|---|---|---|---|---|
| 标准 RLHF-PPO | 4(Actor, Critic, Ref, RM) | 2(Actor, Critic) | 学习型价值网络 | 词元级精细信用分配 | 显存开销最高;Critic 预热好时复杂任务上限极高 |
| RLOO | 3(Actor, Ref, RM) | 1(仅 Actor) | 同提示组内留一均值基线(无偏) | 序列级(整条回复共享优势) | 省去 Critic 显存与前反向开销;需 |
| REINFORCE++ | 3(Actor, Ref, RM) | 1(仅 Actor) | 全局批次回报白化 + Token 级 KL | 含 Token 级 KL 衰减回报 | 兼容 |
| GRPO | 3(RLVR 下仅 2 个) | 1(仅 Actor) | 同提示组内 Z-Score 归一化 | 序列级 + 解析 KL 惩罚 | 推理强化学习(如 DeepSeek-R1)事实标准 |
核心 PyTorch 参考实现
下面给出完整、数值稳健的 GAE 反向递推、优势白化以及 PPO-Clip Actor + Clipped Critic 联合训练步 参考实现:
python
import torch
from typing import Tuple
def compute_gae(
rewards: torch.Tensor,
values: torch.Tensor,
response_mask: torch.Tensor,
gamma: float = 1.0,
lam: float = 0.95,
) -> Tuple[torch.Tensor, torch.Tensor]:
"""
沿时间步反向递推计算广义优势估计 (GAE) 与价值回归目标。
rewards: [B, T] 逐词元塑形奖励 (含 -beta * KL 及末位 RM 分数)
values: [B, T] 旧 Critic 预测的逐词元价值 V_old(s_t)
response_mask: [B, T] 有效回复词元掩码 (1.0 为有效回复, 0.0 为 Prompt 或 Padding)
return: (advantages [B, T], returns [B, T])
"""
B, T = rewards.shape
advantages = torch.zeros_like(rewards)
last_gae = torch.zeros(B, device=rewards.device, dtype=rewards.dtype)
for t in reversed(range(T)):
next_val = values[:, t + 1] if t + 1 < T else torch.zeros(B, device=rewards.device)
# 若下一时刻为无效填充位,则截断自举价值
next_mask = response_mask[:, t + 1] if t + 1 < T else torch.zeros(B, device=rewards.device)
delta = rewards[:, t] + gamma * next_val * next_mask - values[:, t]
last_gae = (delta + gamma * lam * next_mask * last_gae) * response_mask[:, t]
advantages[:, t] = last_gae
returns = advantages + values
return advantages, returns
def masked_whiten(tensor: torch.Tensor, mask: torch.Tensor, eps: float = 1e-8) -> torch.Tensor:
"""仅在有效回复词元上对优势进行零均值单位方差白化。"""
valid_count = mask.sum().clamp(min=1.0)
mean = (tensor * mask).sum() / valid_count
var = (((tensor - mean) ** 2) * mask).sum() / valid_count
return (tensor - mean) * torch.rsqrt(var + eps) * mask
def ppo_loss_step(
new_logprobs: torch.Tensor,
old_logprobs: torch.Tensor,
new_values: torch.Tensor,
old_values: torch.Tensor,
advantages: torch.Tensor,
returns: torch.Tensor,
response_mask: torch.Tensor,
clip_eps: float = 0.2,
vf_clip_eps: float = 0.2,
vf_coef: float = 0.5,
) -> Tuple[torch.Tensor, torch.Tensor, torch.Tensor]:
"""
计算单个 Mini-batch 的 PPO-Clip Actor 损失与 Clipped Critic 损失。
所有输入张量形状均为 [B, T]。
"""
valid_tokens = response_mask.sum().clamp(min=1.0)
# 1. 重要性采样比率 rho_t = pi_theta / pi_old
log_ratio = (new_logprobs - old_logprobs).clamp(min=-20.0, max=20.0)
ratio = torch.exp(log_ratio)
# 2. PPO-Clip 悲观截断代理损失
pg_loss_unclipped = -advantages * ratio
pg_loss_clipped = -advantages * torch.clamp(ratio, 1.0 - clip_eps, 1.0 + clip_eps)
actor_loss = (torch.maximum(pg_loss_unclipped, pg_loss_clipped) * response_mask).sum() / valid_tokens
# 3. Critic 带裁剪的价值回归损失
v_clipped = torch.clamp(new_values, old_values - vf_clip_eps, old_values + vf_clip_eps)
vf_loss1 = (new_values - returns) ** 2
vf_loss2 = (v_clipped - returns) ** 2
critic_loss = 0.5 * (torch.maximum(vf_loss1, vf_loss2) * response_mask).sum() / valid_tokens
total_loss = actor_loss + vf_coef * critic_loss
return total_loss, actor_loss, critic_loss
if __name__ == "__main__":
torch.manual_seed(0)
B, T = 4, 32
mask = torch.ones(B, T)
mask[:, 24:] = 0.0 # 模拟变长回复尾部填充
old_lp = torch.randn(B, T) * 0.1 - 2.0
ref_lp = old_lp + torch.randn(B, T) * 0.05
old_v = torch.randn(B, T) * 0.2
# 构造密集奖励:逐词元 KL 惩罚 + 有效末位 RM 标量分
beta = 0.05
rm_scores = torch.tensor([1.5, -0.8, 0.9, 0.2])
rewards = -beta * (old_lp - ref_lp) * mask
rewards[:, 23] += rm_scores
adv, ret = compute_gae(rewards, old_v, mask, gamma=1.0, lam=0.95)
adv_norm = masked_whiten(adv, mask)
# 模拟更新一步后的新策略与新价值输出
new_lp = (old_lp + torch.randn(B, T) * 0.02).requires_grad_(True)
new_v = (old_v + torch.randn(B, T) * 0.02).requires_grad_(True)
total, pg, vf = ppo_loss_step(new_lp, old_lp, new_v, old_v, adv_norm, ret, mask)
print(f"Total: {total.item():.4f}, Actor PG: {pg.item():.4f}, Critic VF: {vf.item():.4f}")工程实践与常见陷阱
工程实践
- Critic 预热(Warmup)与学习率解耦:虽然 Critic 通常初始化自 RM,但 RM 只针对序列末位
`<eos>`训练过,对序列中间词元的价值预测近乎随机。实践中应在最初步冻结 Actor、仅训练 Critic(或给 Critic 设置比 Actor 高 3 至 5 倍的学习率,如 Actor 、Critic ),否则早期极具噪声的 GAE 优势会直接毁掉 Actor。 - 训练-推理引擎分离与权重共置(Colocation):PPO 耗时超过 70% 花在自回归 Rollout 阶段。现代框架(如 veRL、OpenRLHF)采用带 PagedAttention / KV Cache 的 vLLM / SGLang 专门加速 Rollout 生成,训练端采用 数据并行 / FSDP 或 Megatron-LM,并通过全卡权重热同步(CUDA IPC / NCCL 广播)与显存卸载(Offloading)在同一集群内复用全部 GPU。
- 奖励归一化与裁剪(Reward Whitening & Clipping):在线维护 RM 分数的滑动均值与标准差(Running Mean/Std),并将极端异常分数裁剪在
内,能有效防止个别 OOD 样本梯度击穿训练。
常见陷阱
- 推理与训练精度不一致引发的假性 KL 漂移(Train-Inference Mismatch):当 Rollout 阶段使用 FP8/KV 量化或 vLLM 算子采样,而训练前向使用 BF16 Megatron/FSDP 时,即使参数完全相同,
old_logprobs与new_logprobs也会出现非零差异,导致重要性比率失真甚至 PPO-Clip 频繁误触发。最佳实践是在 Rollout 结束后由训练引擎自身重算一遍 old_logprobs作为基准。 - 未正确处理截断序列(Truncated Episodes)的末位奖励:若某条回复因触达
max_new_tokens而未生成`<eos>`便被强行截断,部分框架若直接对其赋予完整 RM 分数或错误自举,会诱导模型学会故意不输出终止符。常见对策是对超长截断样本施加惩罚分或屏蔽其优势更新。 - 监控指标不可只看 Proxy Reward:务必同时跟踪 KL 散度、策略词元熵(Policy Entropy)、回复平均长度与 Clip Fraction(被裁剪比例)。若词元熵断崖式跌至接近 0,说明模型已丧失探索多样性;若 Clip Fraction 持续高于 0.3,通常意味着学习率过大或 PPO Epoch 数(建议设为 1 至 2)过多。
延伸阅读与参考论文
- Schulman, J., Moritz, P., Levine, S., Jordan, M., & Abbeel, P. (2016). High-Dimensional Continuous Control Using Generalized Advantage Estimation. ICLR 2016. arXiv:1506.02438 ↗
- Schulman, J., Wolski, F., Dhariwal, P., Radford, A., & Klimov, O. (2017). Proximal Policy Optimization Algorithms. arXiv:1707.06347 ↗
- Ouyang, L., Wu, J., Jiang, X., et al. (2022). Training language models to follow instructions with human feedback. NeurIPS 2022. arXiv:2203.02155 ↗
- Zheng, R., Dou, S., Gao, S., et al. (2023). Secrets of RLHF in Large Language Models Part I: PPO. arXiv:2307.04964 ↗
- Ahmadian, A., Cremer, C., Gallé, M., et al. (2024). Back to Basics: Revisiting REINFORCE Style Optimization for Learning from Human Feedback in LLMs (RLOO). ACL 2024. arXiv:2402.14740 ↗
- Hu, J. (2025). REINFORCE++: A Simple and Efficient Approach for Aligning Large Language Models. arXiv:2501.03262 ↗