外观
概念定义 · 什么是 DPO(直接偏好优化)及其家族?
传统 RLHF-PPO 流程极其繁琐:要同时在显存里塞下四个大模型(策略、参考、评论家、奖励模型),训练极不稳定且调参痛苦。
DPO(Direct Preference Optimization) 通过精妙的数学推导证明:其实根本不需要单独训练奖励模型,也不用跑复杂的强化学习采样!直接拿“好回答 vs 差回答”的成对偏好数据,写一个类似分类的交叉熵损失函数,就能一步到位隐式完成带 KL 约束的偏好对齐;后续还演化出免成对数据的 KTO 和免参考模型的 SimPO / ORPO。
01 问题从何而来:做一次对齐,非得养活四个百亿模型吗?
RLHF-PPO 的效果固然惊艳,但它对中小团队简直是“劝退级”的奢侈工程:你得先训一个独立的奖励模型(RM),再同时把 Actor、Critic、Reference、RM 四个庞然大物塞进显存,忍受慢如蜗牛的在线采样解码,还要小心翼翼调教十几个互相耦合的超参数——稍微哪一步没对齐,训练曲线就给你表演当场原地爆炸。
于是 2023 年斯坦福团队在 NeurIPS 抛出了那篇标题极具挑衅意味的论文——Direct Preference Optimization: Your Language Model is Secretly a Reward Model(Rafailov et al., 2023 ↗),一举改变了开源大模型的后训练格局。
类比 · 跳过中介裁判,直接对着错题本练功
传统 RLHF 像一场繁琐的“两步法”:先花大价钱培养一位专职裁判(RM),再雇一名陪练教练(Critic)带着学生在线刷题试错。而 DPO 透过一行精妙的数学变换发现:学生自己对一道题“相比入学前更有把握还是更没把握”,本身就已经等价于一台隐式裁判! 既然如此,根本不需要外聘裁判和教练,直接把“好回答”和“差回答”成对摆到学生面前,拉高好回答的相对信心、压低差回答的相对信心就行了。
核心设问
复杂的强化学习目标怎么能变成一行普通的监督分类损失?而当 DPO 真的大规模落地之后,它又暴露出哪些隐蔽的毛病,催生出 IPO、KTO、ORPO、SimPO 这一整个庞大家族?
02 核心直觉与生活类比
DPO 的数学魔术其实只需要两步直觉就能完全看透:
- 最优策略和奖励是一一对应的:在“既要拿高奖励、又不能偏离初始 SFT 模型太远(KL 散度约束)”的强化学习目标下,理论上存在唯一的最佳策略
——好回答的概率会在参考模型 基础上按奖励指数级放大。倒过来写,奖励就是“新策略比参考模型多出多少信心”的对数比值! - 最难算的归一化常数,一相减全消掉了:平时反解奖励会冒出一个要对全宇宙所有句子求和的配分函数
,根本算不出来。可是一旦放进 Bradley-Terry 的 成对比较(好回答减差回答) 里,两个句子共享同一个提示 ,这个烦人的 一减直接化为乌有!
类比 · 跷跷板上的“智能弹簧”:DPO 为什么比瞎拉概率稳得多?
如果你天真地只写一句损失“拼命拉高好答案概率、拼命压低差答案概率”,模型几步就会把语言能力练崩。DPO 损失对参数求导后,前面自带一个极其聪明的动态刹车系数
- 当模型判错了(居然觉得差回答比好回答顺口),弹簧立刻拉满(
),使出最大力气把跷跷板压回正轨; - 当模型已经分清好坏且拉开了足够差距,弹簧自动彻底松劲(
),停手不再过度扭曲权重。
然而,DPO 并不是终点。上线实战后,研究者接连发现了它的五个软肋,并精准造出了五位“专科继任者”:
类比 · DPO 家族五虎将:各自专治哪一块痛点?
- IPO(arXiv ↗):专治死磕过拟合。标准 DPO 遇到“好回答绝对碾压差回答”时会试图把差距推向无穷大;IPO 改成有界平方回归,把差距稳稳钉在一个安全靶心附近。
- KTO(arXiv ↗):专治凑不齐成对数据。真实产品日志里只有散落的用户“点赞 👍 / 点踩 👎”,根本没有同一题的成对比较;KTO 借用行为经济学前景理论,单点好坏样本直接就能训。
- ORPO(arXiv ↗):专治两阶段太麻烦 + 参考模型太占显存。把 SFT 和几率比偏好惩罚揉成单一损失,一步到位且不需要参考模型。
- SimPO(arXiv ↗):专治参考模型费显存 + 越写越啰嗦。彻底甩掉参考模型,直接用按字数平均后的对数概率当隐式奖励再加一个及格间隔
,长度控制一把好手。 - Online / Iterative DPO(arXiv ↗):专治离线题库过时(分布偏移)。每训完一轮,就让最新模型亲自生成新答卷、找裁判打分挑出新错题,补上了离线 DPO 与在线 PPO 之间最后的能力代差。
03 把关键公式读成人话
标准 DPO 把整套强化学习浓缩成了下面这一行干净得令人震撼的分类损失:
把公式读成直觉:-
是安全绳松紧度: 越大,说明你越怕模型偏离参考模型(保守); 越小,模型胆子越大。 - 整行公式的唯一指令就是:让好回答
相对于参考模型的信心增幅,稳稳压过差回答 。
再对照一眼无参考模型、自带长度归一化的 SimPO 损失:
**把公式读成直觉:**少了
04 它在模型里怎么工作 & 与上下游的关系
在现代开源大模型(如 Llama 3、Qwen、Zephyr)的后训练配方中,DPO 家族占据着最甜美的“高性价比对齐”位置。走完一整步 DPO 训练,其实只需要极简的三步动作:
- 拼批一次前向:把同一批次的胜出回答
和落败回答 沿 Batch 维度拼成 [2B, L],送进可训练策略模型一次性算出所有回复词元的对数概率之和; - 获取参考基准:用冻结的参考模型
对同一批样本做无梯度前向(如果是全参数 DPO,甚至可以提前把整套数据集的 ref_logprobs算完存盘,训练时连参考模型都不用加载进显存); - 计算隐式奖励差并反传:对比“好回答相对参考模型的信心增幅”和“差回答的增幅”,过一遍
logsigmoid即可反向传播。
在整张大模型知识图谱里,它与上下游的协同同样紧密:
- 上游承接:通常紧跟在 SFT 之后,拿 SFT 检查点同时初始化策略模型与参考模型;如果结合 LoRA 训练,还有一个绝妙的工程彩蛋——完全不用加载两份权重,算参考概率时临时调用
disable_adapter()关掉 LoRA 旁路,冻结基座本身就是零成本的! - 与离线数据的同分布法则:同样叫 DPO,拿外部强模型生成的离线数据硬喂(Off-policy),效果往往明显不如让当前自己的 SFT 模型采样生成候选、再选出优劣对(On-policy)——这正是 Iterative / Online DPO 能够逼近在线 PPO 的根本原因。
- 向下演进:离线 DPO 在通用对话风格、安全礼貌对齐上极具性价比;但一旦进入需要深度试错、长链条探索的竞赛数学与编程领域,静态偏好对就力不从心了,接力棒于是交给了在线探索的 RLHF-PPO 与 GRPO / RLVR。
05 演化对比与避坑备忘
| 算法 | 数据形态 | 需要参考模型 | 显式长度控制 | 一句话选型指南 |
|---|---|---|---|---|
| DPO | 成对 | 是(2× 显存) | 否(全句求和) | 生态最全、最稳妥的通用基准首选 |
| IPO | 成对 | 是 | 否 | 偏好数据噪点大或容易严重过拟合时用 |
| KTO | 单点点赞/点踩 | 是 | 否 | 只有线上二元反馈日志、且正负极不平衡时用 |
| ORPO | 成对 | 否(1× 显存) | 是 | 想省事把 SFT 与偏好对齐一步合训时用 |
| SimPO | 成对 | 否(1× 显存) | 是(除以 | 显存紧张且希望严格抑制回复冗长时首选 |
| Online DPO | Prompt + 外部裁判 | 是 | 可选 | 有算力循环采样,想追平在线 PPO 效果时用 |
实战跑 DPO 家族时,务必避开这三个高频深坑:
- 小心“好坏答案概率一起暴跌”的幽灵现象:只要差回答的概率跌得比好回答更快,DPO 损失照样往下掉——结果模型越来越不会说好答案本身(数学代码题准确率反降)!工业标准解法是像 Llama 3 一样,在 DPO 损失上叠一个极小权重的 SFT 锚定项(
+ 0.1 * NLL(y_w))稳住好答案似然。 - 千万别把 DPO 和 SimPO 的
混着填:DPO 对整句几十上百个字求和,所以 很小(典型值 0.1);SimPO 除以长度求了平均,量级缩小几十倍,必须放大到 2.0 ~ 10.0,沿用0.1会让梯度微弱到训了个寂寞。 - 把
chosen和rejected拼成[2B, L]一次前向:在 DDP / FSDP 分布式训练里分两次调forward()既慢又容易踩梯度同步坑;另外学习率要比 SFT 再砍一个数量级(),跑 1–2 个 Epoch 见好就收。
需要查阅从 KL 约束 RL 到 DPO 闭式解的完整逐步推导、KTO/ORPO 公式细节及统一 PyTorch 实现?按快捷键
M或点击顶部技术 Wiki即可随时切换。
直接偏好优化(Direct Preference Optimization, DPO)是继 RLHF-PPO 之后最具影响力的对齐算法。Rafailov 等人(2023 ↗)发现,KL 散度约束下的强化学习目标存在精确的闭式最优策略解析解;利用该解析关系将奖励函数反解为策略对数概率比,即可彻底绕过显式奖励模型训练与昂贵的在线 PPO 强化学习,仅用一个简单的类交叉熵分类损失,便能直接在离线偏好数据上对齐大语言模型。
直观理解
传统 RLHF 需要先花大力气训练一个独立“裁判”(奖励模型),再雇一名“教练”(Critic)带着学生在线试错刷题;而 DPO 通过一行精妙的数学变量替换发现:语言模型自身对回答的“相对信心变化”(相较于初始模型)其实就是一台隐式的奖励裁判。因此只需直接拿“好回答”与“差回答”成对喂给模型,拉高好回答相对概率、压低差回答相对概率,就等价于完成了整套强化学习对齐!
问题动机与演进背景
尽管 RLHF-PPO 在 InstructGPT 与 ChatGPT 中展现了惊人效果,但其工程与算法痛点十分突出:
- 流程冗长且超参脆弱:需要分阶段维护奖励模型与四模型 PPO 训练,学习率、KL 系数、GAE 与 Critic 预热任一环节失调都极易引发崩塌。
- 显存与算力门槛极高:在线 Rollout 自回归解码耗时巨大,中小研究团队难以复现。
DPO 以极简的二元监督学习形式实现了媲美甚至在某些静态基准上超越 PPO 的对齐效果,迅速成为开源大模型(如 Zephyr、Llama 3、Qwen 等)在 SFT 之后的核心标配。随后,研究者针对 DPO 在过拟合确定性偏好、依赖成对标注、参考模型显存开销、生成长度偏置以及离线分布偏移五大局限上,接连衍生出了 IPO(Azar et al., 2023 ↗)、KTO(Ethayarajh et al., 2024 ↗)、ORPO(Hong et al., 2024 ↗)、SimPO(Meng et al., 2024 ↗)与 Iterative/Online DPO(Guo et al., 2024 ↗)等繁荣家族,并在复杂推理场景进一步演进至在线可验证强化学习 GRPO 与 RLVR。
核心原理与数学推导
1. DPO 完整闭式推导
从标准 RLHF 的 KL 约束最大化问题出发:
将目标函数除以
其中配分函数(Partition Function)
对最优策略闭式解两边取对数并整理,将真实奖励
奇妙之处在于,将上式代入 Bradley-Terry 偏好概率
2. DPO 梯度的直观机制解析
令隐式奖励定义为
梯度的结构揭示了 DPO 稳定性的核心奥秘:自适应难例权重
- 当隐式奖励判断错误(落败回复得分反而高于胜出回复,
)时, 趋近于 ,施加最大力度纠偏; - 当模型已经拉开了足够大的优势差距(
)时, 趋近于 ,自动停止过度更新,从而避免无权重对比学习极易导致的语言模型退化。
3. DPO 全家族核心演进
针对标准 DPO 在实际应用中的多项局限,社区演化出五大代表性改进分支:
IPO(Identity Preference Optimization,Azar et al., 2023):
- 痛点:若数据集中某对样本的偏好几乎是确定性的(
),最小化 会迫使隐式奖励差 ,压倒一切 KL 正则,导致严重过拟合。 - 改进:用有界的平方误差损失替代无界对数 Sigmoid,将对数概率比之差锚定在目标常数
附近:
- 痛点:若数据集中某对样本的偏好几乎是确定性的(
KTO(Kahneman-Tversky Optimization,Ethayarajh et al., 2024):
- 痛点:收集高质量的成对偏好数据
十分昂贵,而真实生产日志中充斥着海量单点“点赞/点踩”(二元好坏标签)信号。 - 改进:基于行为经济学前景理论(Prospect Theory,人们对损失的厌恶大于同等收益的喜悦),直接定义单样本效用损失,完全不需要成对数据:
其中参考基准点 用批内不匹配样本估计(不回传梯度), 控制正负样本不平衡权重。
- 痛点:收集高质量的成对偏好数据
ORPO(Odds Ratio Preference Optimization,Hong et al., 2024):
- 痛点:传统流程必须先 SFT 再 DPO,且 DPO 需常驻一份冻结的参考模型
占用双倍显存。 - 改进:将 SFT 与偏好对齐合并为单阶段、无参考模型训练!引入几率(Odds)定义
(以平均对数概率计算 ),在标准 SFT 损失上直接叠加对数几率比惩罚:
- 痛点:传统流程必须先 SFT 再 DPO,且 DPO 需常驻一份冻结的参考模型
SimPO(Simple Preference Optimization,Meng et al., 2024):
- 痛点:标准 DPO 依赖参考模型
,且其隐式奖励是全序列对数概率之和,导致长回复天然更容易产生极端分数(长度利用偏差),与推理期长度归一化的生成偏好不匹配。 - 改进:彻底移除参考模型,直接以长度归一化的平均对数概率作为隐式奖励,并加入目标奖励间隔(Target Margin)
:
- 痛点:标准 DPO 依赖参考模型
Iterative / Online DPO:
- 痛点:离线 DPO(Offline DPO)只在固定历史数据集上训练,随着
更新,其生成分布逐渐偏离离线数据,导致模型无法及时纠正在新分布下产生的错误(Distribution Shift)。 - 改进:以多轮迭代方式,在每一轮使用当前最新策略
重新采样生成多条候选回复,利用外部奖励模型、规则校验器或 LLM-as-a-Judge 实时筛选出新的胜负对 ,再执行 DPO 更新(并视情况同步更新参考模型)。Online DPO 弥合了离线 DPO 与在线 PPO 之间的核心能力鸿沟。
- 痛点:离线 DPO(Offline DPO)只在固定历史数据集上训练,随着
算法架构与数据流图
下图直观对比了标准 DPO、免参考模型的 SimPO/ORPO 以及闭环迭代的 Online DPO 架构演进:
图表加载中...
复杂度与横向对比表
下表从数据形态、参考模型显存、防过拟合、长度控制与是否需要独立 SFT 五个维度对比 DPO 家族成员:
| 算法 | 数据需求 | 需要参考模型 | 长度归一化 | 合并 SFT | 核心优势与典型局限 |
|---|---|---|---|---|---|
| DPO | 成对 | 是(2x 模型显存) | 否(全序列求和) | 否 | 推导严谨、生态最成熟;易受长度偏置与确定性偏好过拟合影响 |
| IPO | 成对 | 是 | 否 | 否 | 平方回归目标天然抑制过拟合;需精细调节间隔超参 |
| KTO | 单点二元好/坏标签 | 是 | 否 | 否 | 极佳适配生产点赞/点踩日志与类别极度不平衡数据 |
| ORPO | 成对 | 否(1x 显存) | 是(平均概率) | 是(单阶段) | 省去参考模型与独立 SFT;大规模指令下有时不如先 SFT 再对齐稳定 |
| SimPO | 成对 | 否(1x 显存) | 是(显式除以 | 否 | 长度控制极佳、无参考模型开销;需配合较小学习率与合适 |
| Online DPO | Prompt + 外部裁判 | 是 | 可选 | 否 | 消除离线分布偏移,效果直逼 PPO;需引入推理采样与裁判算力成本 |
核心 PyTorch 参考实现
下面提供高度清晰、可直接复用的 PyTorch 参考实现,涵盖序列对数概率提取、标准 DPO(含可选 IPO 切换) 以及无参考模型的 SimPO 损失函数:
python
import torch
import torch.nn.functional as F
from typing import Tuple
IGNORE_INDEX = -100
def get_sequence_logprobs(
logits: torch.Tensor,
labels: torch.Tensor,
average_log_prob: bool = False,
) -> torch.Tensor:
"""
计算每条回复序列的条件对数概率之和(DPO/IPO)或长度归一化均值(SimPO)。
logits: [B, L, V]
labels: [B, L] (Prompt 与 Padding 位置为 IGNORE_INDEX)
return: [B]
"""
shift_logits = logits[:, :-1, :] # [B, L-1, V]
shift_labels = labels[:, 1:] # [B, L-1]
loss_mask = shift_labels != IGNORE_INDEX # [B, L-1]
safe_labels = shift_labels.clamp(min=0)
log_probs = F.log_softmax(shift_logits, dim=-1) # [B, L-1, V]
per_token_logp = torch.gather(
log_probs, dim=-1, index=safe_labels.unsqueeze(-1)
).squeeze(-1) # [B, L-1]
masked_logp = per_token_logp * loss_mask.float()
if average_log_prob:
return masked_logp.sum(dim=-1) / loss_mask.float().sum(dim=-1).clamp(min=1.0)
return masked_logp.sum(dim=-1)
def dpo_or_ipo_loss(
policy_chosen_logp: torch.Tensor,
policy_rejected_logp: torch.Tensor,
ref_chosen_logp: torch.Tensor,
ref_rejected_logp: torch.Tensor,
beta: float = 0.1,
use_ipo: bool = False,
label_smoothing: float = 0.0,
) -> Tuple[torch.Tensor, torch.Tensor, torch.Tensor]:
"""
计算标准 DPO(支持保守 cDPO 标签平滑)或 IPO 损失,并返回隐式奖励监控指标。
输入张量形状均为 [B]。
"""
chosen_rewards = beta * (policy_chosen_logp - ref_chosen_logp) # [B]
rejected_rewards = beta * (policy_rejected_logp - ref_rejected_logp) # [B]
logits_diff = chosen_rewards - rejected_rewards # [B]
if use_ipo:
# IPO: ((log(pi_w/ref_w) - log(pi_l/ref_l)) - 1/(2*beta))^2
raw_diff = (policy_chosen_logp - ref_chosen_logp) - (policy_rejected_logp - ref_rejected_logp)
loss = ((raw_diff - 1.0 / (2.0 * beta)) ** 2).mean()
else:
# 标准 DPO(当 label_smoothing > 0 时等价于抗噪 cDPO)
loss = (
-F.logsigmoid(logits_diff) * (1.0 - label_smoothing)
- F.logsigmoid(-logits_diff) * label_smoothing
).mean()
return loss, chosen_rewards.detach().mean(), rejected_rewards.detach().mean()
def simpo_loss(
policy_chosen_avg_logp: torch.Tensor,
policy_rejected_avg_logp: torch.Tensor,
beta: float = 2.0,
gamma: float = 0.5,
) -> Tuple[torch.Tensor, torch.Tensor]:
"""
计算 SimPO 损失(无需参考模型,直接使用长度归一化平均对数概率与目标间隔 gamma)。
输入张量形状均为 [B]。
"""
# 注意:SimPO 长度归一化后量级变小,典型 beta 取值 2.0~2.5,远大于标准 DPO 的 0.1
logits_diff = beta * (policy_chosen_avg_logp - policy_rejected_avg_logp) - gamma
loss = -F.logsigmoid(logits_diff).mean()
reward_acc = (policy_chosen_avg_logp > policy_rejected_avg_logp).float().mean()
return loss, reward_acc
if __name__ == "__main__":
torch.manual_seed(7)
B, L, V = 4, 24, 100
labels_w = torch.randint(0, V, (B, L))
labels_l = torch.randint(0, V, (B, L))
labels_w[:, :8] = IGNORE_INDEX # 前 8 个词元为 Prompt
labels_l[:, :8] = IGNORE_INDEX
pi_logits_w = torch.randn(B, L, V, requires_grad=True)
pi_logits_l = torch.randn(B, L, V, requires_grad=True)
with torch.no_grad():
ref_logits_w = pi_logits_w.detach() + torch.randn(B, L, V) * 0.05
ref_logits_l = pi_logits_l.detach() + torch.randn(B, L, V) * 0.05
pi_w = get_sequence_logprobs(pi_logits_w, labels_w, average_log_prob=False)
pi_l = get_sequence_logprobs(pi_logits_l, labels_l, average_log_prob=False)
ref_w = get_sequence_logprobs(ref_logits_w, labels_w, average_log_prob=False)
ref_l = get_sequence_logprobs(ref_logits_l, labels_l, average_log_prob=False)
dpo_l, r_w, r_l = dpo_or_ipo_loss(pi_w, pi_l, ref_w, ref_l, beta=0.1)
sim_w = get_sequence_logprobs(pi_logits_w, labels_w, average_log_prob=True)
sim_l = get_sequence_logprobs(pi_logits_l, labels_l, average_log_prob=True)
sim_loss, acc = simpo_loss(sim_w, sim_l, beta=2.0, gamma=0.5)
print(f"DPO loss: {dpo_l.item():.4f} (r_w={r_w:.3f}, r_l={r_l:.3f}) | SimPO loss: {sim_loss.item():.4f}")工程实践与常见陷阱
工程实践
- 利用 LoRA 共享参考模型权重实现零额外显存:在使用 LoRA 训练 DPO 时,根本不需要在显存中加载两份完整的百亿基座模型!只需加载一份冻结基座,计算参考模型对数概率时调用上下文管理器临时禁用 LoRA 适配器(
with model.disable_adapter():)做无梯度前向即可;全参数 DPO 则可提前离线缓存整套数据集的ref_logprobs到磁盘,直接省去训练期一半显存。 - DPO + NLL 辅助损失缓解胜出概率同步下降:实践中常观察到一个反直觉现象——在标准 DPO 训练中,虽然
chosen_rewards - rejected_rewards持续扩大,但胜出回复的绝对对数似然 反而也在下降(只要落败回复 降得更快,损失依然减小),这在数学推理或代码对齐中会导致正确率下滑。如 Llama 3 与 RPO 的标准做法,向 DPO 损失中加入极小权重的 SFT 锚定项 ( ),即可有效稳住胜出回复的生成似然。 - 极小学习率与严格的数据同分布性:DPO 的最优学习率通常比 SFT 再低一个数量级(如
),且训练 个 Epoch 即可收敛;此外,尽量使用当前 SFT 模型自身采样生成的回复来构造偏好对(On-policy Data),效果显著好于直接照搬异构强模型生成的离策略偏好集。
常见陷阱
- 将 DPO 与 SimPO 的超参
混用:标准 DPO 对全序列对数概率求和(量级常在 ),因此 通常很小( ,默认 );而 SimPO 对序列长度求平均(量级在 ),因此 必须放大至 !若在 SimPO 中沿用 ,梯度将极其微弱。 - 忽视
chosen与rejected在同一批次内的拼接效率:不要对chosen和rejected分开调用两次model.forward()(在 DDP/FSDP 下会触发多余通信或梯度同步风险)。标准实现是将二者沿 Batch 维度拼接为[2B, L]一次性前向,再切分前一半为chosen、后一半为rejected。 - 偏好对过于相似或存在噪声反转:当
与 仅相差个别标点,或者人工/自动标注中存在 20% 以上的噪声翻转时,标准 DPO 会剧烈震荡。此时应启用保守 DPO(cDPO,设置 label_smoothing=0.1)或切换至具备有界回归特性的 IPO。
延伸阅读与参考论文
- Rafailov, R., Sharma, A., Mitchell, E., et al. (2023). Direct Preference Optimization: Your Language Model is Secretly a Reward Model. NeurIPS 2023. arXiv:2305.18290 ↗
- Azar, M. G., Rowland, M., Piot, B., et al. (2023). A General Theoretical Paradigm to Understand Learning from Human Preferences (IPO). AISTATS 2024. arXiv:2310.12036 ↗
- Ethayarajh, K., Xu, W., Muennighoff, N., Jurafsky, D., & Kiela, D. (2024). KTO: Model Alignment as Prospect Theoretic Optimization. ICML 2024. arXiv:2402.01306 ↗
- Hong, J., Lee, N., & Thorne, J. (2024). ORPO: Monolithic Preference Optimization without Reference Model. EMNLP 2024. arXiv:2403.07691 ↗
- Meng, Y., Xia, M., & Chen, D. (2024). SimPO: Simple Preference Optimization with a Reference-Free Reward. NeurIPS 2024. arXiv:2405.14734 ↗
- Guo, S., Zhang, B., Liu, T., et al. (2024). Direct Language Model Alignment from Online AI Feedback (Online DPO). arXiv:2402.04792 ↗