「PPO 已被 DPO 取代」这句话对吗？

分场景。在「静态偏好对 → 对齐聊天/风格/安全」这条产品线上，DPO 常绕过 RLHF-PPO，说法大致成立；但机器人、游戏、连续控制、可验证推理（数学/代码）里 PPO 与 GRPO 仍然活跃，说 PPO 过时是错的。

DPO 到底算不算强化学习？

实现上像带参考模型的对比监督学习，没有奖励模型也没有 PPO 采样环；但它的损失源自 RLHF 最优策略的闭式解，本质是「偏好目标下的策略优化」，因此常被称作隐式 RL 或偏好优化。

生物领域继续预训练（CPT）是强化学习吗？

不是。CPT 是自监督的 next-token 预测（交叉熵损失），靠数据混合与回放抗遗忘；只有当另有偏好排序或奖励模型环节时，那一段才是对齐 RL。判断时要看方法节有没有 reward/preference/PPO，不能因为出现「human feedback」「后训练」就推断有 RL。

只有历史实验数据、不能在线试错，该用什么？

先看有没有奖励标签：只有专家成功轨迹优先行为克隆（BC）；有较广覆盖、含失败与多样策略的带回报数据可试离线 RL（如 CQL/IQL 类保守方法），核心是别相信没有数据支撑的高 Q 值。上线前务必用真实小流量评估，离线分数不等于在线表现。

强化学习第3章：连续控制、离线 RL 与偏好优化

这一章不再按“一个算法一节”的方式平铺，而是按可用监督信号组织：能在线交互时如何做连续控制，只有历史轨迹时如何学习，以及有偏好或可验证奖励时如何进行 LLM 后训练。继续预训练（CPT）仍属于自监督学习，不应与这些策略优化方法混在一起。

1. 方法地图：先看你拥有什么反馈

flowchart TB
  subgraph 在线交互
      SAC[SAC / TD3<br/>连续控制]
      PPO2[PPO<br/>通用稳妥]
  end

  subgraph 只有日志
      BC[行为克隆 BC]
      OFF[离线 RL<br/>CQL / IQL 等]
  end

  subgraph 大模型后训练
      SFT[SFT 监督微调]
      RM[奖励模型 RM]
      RLHFPPO[RLHF-PPO]
      DPO[DPO]
      GRPO[GRPO 等]
      SFT --> RM --> RLHFPPO
      SFT --> DPO
      SFT --> GRPO
  end

  subgraph 不是 RL
      CPT[生物 CPT<br/>自监督 next-token]
      MIX[数据混合 / 回放<br/>抗遗忘]
  end

图示

主线	在干什么	你手头要有什么	代表
在线控制	边交互边学策略	可仿真/可采样环境	SAC、TD3、PPO
模仿 / 离线	从历史数据学	专家轨迹或实验日志	BC、CQL、IQL
偏好对齐	让序列更符合人类/规则偏好	偏好对或可打分信号	RLHF-PPO、DPO、GRPO
自监督 CPT	预测下一个 token	大规模无标注序列	不是本阶段算法

2. 连续控制：SAC 与 TD3

SAC：最大熵的 off-policy 控制

为什么需要它？

PPO 在离散/很多控制任务上稳，但：

是 on-policy，样本效率一般；
连续动作空间里，有时更希望 off-policy + 强探索。

SAC（Soft Actor-Critic） 的核心思想：不只最大化回报，还最大化策略熵——鼓励「有把握时果断，不确定时多试」。

关键公式：最大熵目标

J(\pi)=\mathbb{E}_{\pi}\Big[\sum_t \gamma^t\big(r(s_t,a_t)+\alpha\,\mathcal{H}\big(\pi(\cdot|s_t)\big)\big)\Big]

符号	含义	直观解释
$J(\pi)$	要最大化的目标	长期回报 + 探索奖励
$r(s_t,a_t)$	环境奖励	任务本身的分
$\mathcal{H}(\pi(\cdot\\|s))$	在状态 $s$ 的策略熵	动作分布越「摊开」越大
$\alpha>0$	温度系数	熵这项有多重要

软 Q 的贝尔曼备份直觉：

Q(s,a)\approx r+\gamma\Big(Q(s',a')-\alpha\log\pi(a'|s')\Big),\quad a'\sim\pi(\cdot|s')

即：下一状态价值要扣掉「我太确定」的惩罚（或等价地奖励「我还保持随机」）。

实践中 SAC 还常用 双 Q 取 min，抑制过估计（与 TD3 同类稳招）。

参数与使用

参数	常见感	调大/调小
$\alpha$ （或自动调 $\alpha$ ）	自动调很常见	太大：乱探索；太小：变保守、易局部最优
学习率	3e-4 量级常见	不稳就降
replay buffer	尽量大	太小 → 过拟合近期轨迹
目标网络软更新 $\tau$	0.005 量级	太大目标跳；太小学得慢
奖励尺度	任务相关	奖励数量级会间接改变有效 $\alpha$

适用范围

强项：连续控制、需要探索、希望 sample-efficient（相对 PPO）。
弱项：实现与调参比 PPO 绕；离散大动作空间 / LLM token 空间不是它的主场。

局限与后续

方向	说明
机器人/控制默认	SAC 与 TD3 仍是强基线；很多工作是改网络、改数据、改奖励
更稳的离线变体	有数据无在线交互时 → CQL/IQL 等（见第 5 节）
语言对齐	不要默认上 SAC；对齐主流是偏好优化族

TD3：确定性策略与双 Q

为什么需要它？

DDPG 把 Q-learning 思想做到连续动作，但容易 Q 过估计 → 策略崩。
TD3（Twin Delayed DDPG） 用三板斧把它稳住。

关键公式与三板斧

双 Q 取小（Clipped Double Q）：

y=r+\gamma\min_{i=1,2}Q_{\theta_i'}(s',\tilde{a})

目标动作加噪再截断（Target Policy Smoothing）：

\tilde{a}=\mathrm{clip}\big(\pi_{\phi'}(s')+\epsilon,\;a_{\min},a_{\max}\big),\quad \epsilon\sim\mathrm{clip}(\mathcal{N}(0,\sigma),-c,c)

延迟更新 Actor（Delayed Policy Update）：Critic 多更几步，再改策略。

符号	含义	作用
$Q_{\theta_1'},Q_{\theta_2'}$	两个目标 Critic	取 min 抑制乐观偏差
$\pi_{\phi'}$	目标 Actor	慢速跟踪当前策略
$\epsilon$	平滑噪声	别对尖峰 Q 过拟合
延迟频率	每 d 步更一次 Actor	避免在不准的 Q 上猛更新

参数与使用

参数	直觉
策略噪声 $\sigma$ 、clip $c$	太大等于乱抹目标；太小平滑不足
Actor 延迟 d	常用 2：Critic 更两步，Actor 更一步
探索噪声（与目标噪声不同）	采集数据时的动作扰动
双 Q 结构	尽量保留，别为「省算力」随手砍

SAC vs TD3 vs PPO（选型速记）

	PPO	SAC	TD3
策略	随机	随机 + 熵	确定性为主
数据	on-policy	off-policy	off-policy
样本效率	一般	较好	较好
调参体感	相对友好	中等	中等
典型域	通用、部分离散	连续控制	连续控制
LLM 对齐	经典 RLHF 用它	基本不用	基本不用

直观解释：

要 稳、通用、实现简单 → 先 PPO。
连续控制、能大量 off-policy 重用数据 → SAC / TD3。
要 偏好对齐大模型 → 跳出这三者，看第 6–9 节。

局限与后续

更好的探索噪声、模型基 RL、大规模演示预训练 + 微调。
在「不可在线试错」场景，被 离线 RL / 模仿 接管问题设定。

3. 只有历史数据：行为克隆与离线 RL

行为克隆：先复现专家策略

为什么需要它？

很多生物 / 实验室场景：

没有可随便试错的环境（贵、慢、有风险）；
但有 历史成功实验、操作记录、专家轨迹。

这时第一工具往往不是 PPO，而是 模仿学习（Imitation Learning）。

关键公式：行为克隆（Behavior Cloning, BC）

把专家动作当标签，做监督：

\mathcal{L}_{\mathrm{BC}}(\theta)=-\mathbb{E}_{(s,a)\sim\mathcal{D}_E}\big[\log\pi_\theta(a|s)\big]

符号	含义
$\mathcal{D}_E$	专家状态–动作数据集
$\pi_\theta(a\\|s)$	学徒策略
$\mathcal{L}_{\mathrm{BC}}$	负对数似然（分类/回归损失）

直观解释：专家在状态 $s$ 做了 $a$ ，你就提高 $\pi(a|s)$ 。不显式要奖励。

参数与常见问题

问题	表现	缓解
复合误差	稍偏一点 → 状态出分布 → 越错越远	多数据覆盖；DAgger 等交互式模仿
多模态专家	同一 $s$ 有多种合理 $a$	用随机策略/更好架构，别强行单峰
只有成功轨迹	学不会「失败边缘如何救」	加负例、约束、或转离线 RL
观测不全	日志缺关键状态	先补特征/表征，再 BC

效果与边界

强项：实现简单、常能快速得到可用策略。
弱项：专家多好，上限就多高；难「青出于蓝」。
增强方向：GAIL/AIRL 等对抗模仿；BC 预训练 + RL 微调；与离线 RL 结合。

离线 RL：在数据分布内做策略改进

为什么需要它？

BC 只是「学得像」；离线 RL 想在固定数据集 $\mathcal{D}_{\mathrm{off}}$ 上 优化回报，还可能超过平均专家。

难点：不能与环境交互补数据。若 Q 对「没见过的动作」盲目乐观，策略会选 OOD 动作 → 一上线就崩。这叫 分布外外推（OOD extrapolation）。

关键直觉公式（以保守 Q 为例）

标准 TD 目标：

y=r+\gamma\max_{a'}Q(s',a')

离线时 $\max_{a'}$ 很危险。保守方法（如 CQL 类思想）额外惩罚「数据里少见的动作」的 Q：

\min_Q\ \alpha\ \mathbb{E}_{s\sim\mathcal{D},\,a\sim\pi}\big[Q(s,a)\big]-\mathbb{E}_{(s,a)\sim\mathcal{D}}\big[Q(s,a)\big]+\mathcal{L}_{\mathrm{TD}}(Q)

项	含义
$\mathbb{E}_{a\sim\pi}[Q]$	当前策略会选的动作之 Q
$\mathbb{E}_{(s,a)\sim\mathcal{D}}[Q]$	数据集真实动作之 Q
$\alpha$	保守强度
$\mathcal{L}_{\mathrm{TD}}$	正常时序差分拟合

直观解释：数据里常见的动作 Q 可以高；策略乱试的生疏动作，Q 被往下压。

另一类 IQL 等则避免显式对 OOD 动作 query max，改走更保守的价值拟合路径（细节实现各异，记住动机即可：别相信没数据支撑的高分）。

参数与使用

参数	含义
保守系数 $\alpha$ / 同类超参	太大学成「不敢动」；太小 ≈ 普通 off-policy 乱外推
数据集质量	覆盖比算法花活更重要
归一化回报 / 状态	常能明显稳训练
评估协议	离线分数 ≠ 在线真实表现，务必保留真实回放评估

与 BC 怎么选？

flowchart TD
  Q1{有奖励标签或可构造回报吗?}
  Q1 -->|否| BC[先 BC / 偏好学习]
  Q1 -->|是| Q2{数据覆盖够广吗?}
  Q2 -->|窄、几乎纯专家| BC2[BC 往往更稳]
  Q2 -->|有杂、有失败、有多样策略| OFF[试离线 RL]
  OFF --> Q3{上线评估是否崩?}
  Q3 -->|崩| C[加强保守 / 退回 BC 预训练]
  Q3 -->|稳| OK[再考虑小规模在线微调]

图示

生物场景翻译

你有的东西	更像
成功湿实验步骤记录	BC
大量历史条件 + 产量/活性数值	离线 RL 或 contextual bandit（问题更简单时别上完整 RL）
只能文献/数据库、无交互	先表征与监督，不要硬挂 PPO
可做少量仿真或机器人筛选	离线预训练 + 小预算在线微调

局限与后续

更好的不确定性估计、模型基离线 RL、扩散策略、决策 Transformer 等序列建模路线。
与 偏好数据 结合时，问题会滑向对齐（下一节），而不是经典控制。

4. LLM 后训练：RLHF、DPO 与 GRPO

后训练目标与三条路线

大模型常见流水线：

flowchart LR
  PT[预训练 / CPT<br/>next-token] --> SFT[SFT<br/>示范应答]
  SFT --> ALN[对齐<br/>偏好/奖励]
  ALN --> A1[RLHF-PPO]
  ALN --> A2[DPO]
  ALN --> A3[GRPO 等]

图示

阶段	信号	目标一句话	是不是 RL
预训练 / CPT	下一 token 是否正确	拟合数据分布	否（自监督）
SFT	标准答案序列	模仿示范	否（监督）
RLHF-PPO	奖励模型标量分 + KL	高分且不离参考太远	是
DPO	偏好对 $y_w \succ y_l$	直接抬赢压输	常被称作隐式 RL / 偏好优化
GRPO 等	组内相对奖励	少维护价值网络的策略优化	是（策略梯度族变体）

关键分水岭：
有没有「按偏好/回报改写生成策略」？

有 → 对齐。
只有 next-token / 数据混合抗遗忘 → CPT，不是对齐 RL。

RLHF-PPO

为什么需要它？

SFT 只会「像训练答案」，不会自动优化「更有用、更安全、更符合人类排序」。
人类又很难给每个 token 写精确标签，但能说：回复 A 比 B 好。

三步流水线

SFT：得到 $\pi_{\mathrm{SFT}}$ 。
奖励模型 RM：用偏好数据学 $r_\phi(x,y)$ 。
PPO：把 $r_\phi$ 当奖励，优化策略，并用 KL 拴住参考模型。

关键公式

（1）奖励模型（Bradley–Terry 直觉）

人类偏好 $y_w \succ y_l \mid x$ 的概率：

P(y_w \succ y_l\mid x)=\sigma\big(r_\phi(x,y_w)-r_\phi(x,y_l)\big)

训练 RM 就是让胜者分更高、负者分更低。

（2）RL 目标（带 KL 惩罚）

\max_{\pi}\ \mathbb{E}_{x\sim\mathcal{D},\,y\sim\pi}\big[r_\phi(x,y)\big] -\beta\,\mathrm{KL}\big(\pi(\cdot|x)\,\|\,\pi_{\mathrm{ref}}(\cdot|x)\big)

符号	含义	调它在改什么
$x$	提示 / 问题	任务分布
$y$	模型生成序列	策略输出
$r_\phi$	奖励模型打分	「什么叫好」
$\pi_{\mathrm{ref}}$	常取 SFT	防跑偏、防崩溃
$\beta$	KL 系数	越大越保守、越像 SFT

直观解释： PPO 在采样回复 → RM 打分 → 高分模式被强化；同时若偏离 SFT 太远，KL 扣分。

参数与使用

参数	风险
$\beta$ 太小	奖励黑客、胡言、风格漂移
$\beta$ 太大	几乎不学偏好，白对齐
RM 质量	RM 有洞 → 策略专攻漏洞（reward hacking）
PPO 采样长度/批大小	不稳、方差大、成本高
多次迭代 RM–PPO	可能过拟合 RM，而非真偏好

适用范围

早期 ChatGPT 类系统的核心配方之一。
贵：要维护策略、参考、RM、PPO 采样，工程重。
不稳：RM 与 PPO 都可能成为故障点。

被什么取代 / 增强？

方向	关系
DPO / IPO / KTO 等	很多场景替代 RLHF-PPO 的「第三段」，更简单
GRPO / RLOO 等	在可验证奖励 / 推理任务上增强或替换经典 PPO 实现
更好 RM / 过程奖励 / 宪法 AI	增强信号质量，不必然取消 RL
在线人类反馈	持续对齐，而不是一次离线偏好

何时仍用 RLHF-PPO？
需要在线采样、奖励是黑箱模型/多源混合、或团队已有成熟 PPO 对齐栈时。

DPO

为什么需要它？

RLHF-PPO 重：RM 会错，PPO 难训。
DPO（Direct Preference Optimization） 证明：在常见 RLHF 目标下，最优策略与偏好数据之间存在闭式关系，可直接当分类问题训练策略。

关键公式

\mathcal{L}_{\mathrm{DPO}}(\theta)=-\mathbb{E}_{(x,y_w,y_l)}\Big[ \log\sigma\Big( \beta\log\frac{\pi_\theta(y_w|x)}{\pi_{\mathrm{ref}}(y_w|x)} -\beta\log\frac{\pi_\theta(y_l|x)}{\pi_{\mathrm{ref}}(y_l|x)} \Big) \Big]

符号	含义	直观解释
$y_w,y_l$	赢 / 输回复	人（或更强模型）标注的偏好对
$\pi_\theta$	正在训练的策略	你的 LLM
$\pi_{\mathrm{ref}}$	参考（常 SFT）	锚定，防跑飞
$\beta$	温度/KL 强度	越大越不敢离开 ref
$\sigma$	sigmoid	把分差变成「赢的概率」

直觉拆解：

$\log\frac{\pi_\theta(y|x)}{\pi_{\mathrm{ref}}(y|x)}$ ≈「相对 ref，我有多偏爱这条回复」。
对 $y_w$ 这项要变大，对 $y_l$ 要变小。
没有显式 $r_\phi$ ，也没有 PPO 采样环。

flowchart LR
  Pref[偏好对 y_w ≻ y_l] --> DPO[DPO 损失]
  Ref[π_ref] --> DPO
  DPO --> Pi[更新 π_θ]
  Pi -->|抬高| Yw[赢序列概率]
  Pi -->|压低| Yl[输序列概率]

图示

参数与使用

参数	建议直觉
$\beta$	常用 0.1 量级起步；过小易过拟合偏好噪声，过大学不动
偏好数据质量	比换优化器更重要；标签反了会系统性学坏
是否冻结 ref	ref 固定是标准设定
学习率 / epoch	小 LR、少过拟合；盯 eval 偏好准确率与下游任务
长度偏置	模型可能爱写长；需长度归一或数据平衡

适用范围

工程简单：近似「带 ref 的对比监督」。
许多开源对齐默认 DPO 族。
对 静态偏好对 很香；对需要多轮在线探索的奖励，未必够。

「PPO 已被 DPO 取代」何时对、何时错？

说法	何时大致对	何时错
DPO 取代 RLHF-PPO	离线偏好对充足、要对齐聊天/格式/风格	奖励在线可算、要多步探索、工具调用轨迹优化
PPO 过时了	在「偏好对 → 对齐 LLM」这条产品线上常被绕过	机器人、游戏、控制、可验证推理 RL 里 PPO/GRPO 仍活跃
DPO 不是 RL	实现上像监督学习	目标源自 RLHF 最优策略，是偏好目标下的策略优化

还能增强什么？

IPO、ORPO、KTO、SimPO 等变体：改正则、改是否要 ref、改损失形态。
更好的偏好采集（AI feedback、多目标偏好）。
与 可验证奖励 RL（数学/代码）并行：不是二选一。

GRPO

为什么需要它？

在可验证任务（数学、代码、某些推理）上：

往往有 规则奖励（对/错、测试通过），不一定先训 RM；
经典 PPO 要价值网络 $V$ ，占显存、也难训；
希望对同一提示采一组回答，用组内相对好坏当基线。

GRPO（Group Relative Policy Optimization） 一类方法的精神是：
同一 $x$ 采样 $\{y_1,\ldots,y_G\}$ ，用组内奖励标准化得到优势，再做策略梯度式更新（并常保留 KL 到 ref）。

关键公式（教学简化）

对同一提示的一组样本，先标准化奖励：

\hat{A}_i=\frac{r_i-\mathrm{mean}(\{r_j\})}{\mathrm{std}(\{r_j\})+\varepsilon}

策略目标直觉（示意，略去实现细节与 clip 变体）：

\mathcal{L}\sim-\frac{1}{G}\sum_{i=1}^{G}\hat{A}_i\log\pi_\theta(y_i|x) +\beta\,\mathrm{KL}\big(\pi_\theta\|\pi_{\mathrm{ref}}\big)

符号	含义
$G$	每个提示的采样组大小
$r_i$	第 $i$ 条回复的奖励（可验证规则或模型）
$\hat{A}_i$	组内相对优势
$\beta$	KL 强度

直观解释：不用单独 Critic 估「这题平均能拿几分」；同题多答，比一比谁更好，更好的增加概率。

注：工业实现（如 DeepSeek 系列相关技术报告中的设定）在细节上更完整（裁剪、动态 KL、奖励塑形等）。你读论文时抓：组采样、相对基线、弱化/去掉价值网 三点即可。

参数与使用

参数	直觉
$G$	太小基线噪声大；太大成本高
奖励设计	对/错过于稀疏时要过程奖励或形状化
$\beta$ / KL	防灾难性漂移
采样温度	影响组内多样性
题目难度配比	全对或全错 → 相对优势消失

与 PPO / DPO 对比

	RLHF-PPO	DPO	GRPO 类
主信号	RM 标量	偏好对	组内奖励（常可验证）
要不要价值网	要	不要	通常不要
要不要在线采样	要	训练时不要	要
典型场景	通用人类偏好	静态偏好对齐	数学/代码/可打分推理
工程复杂度	高	低	中

局限与后续

过程奖励模型（PRM）、搜索（Best-of-N、MCTS）、工具反馈。
更稳的组统计与课程学习（由易到难）。
与 DPO 不是互斥：可先 DPO 对齐风格，再 GRPO 冲可验证能力。

5. CPT 与偏好优化的边界

这一节对应你真正会踩的坑：把「领域继续预训练」误叫成「强化学习」。

并排对照

维度	生物 CPT（如领域继续预训练）	对齐 RL（RLHF/DPO/GRPO）
数据	无标注或弱标注序列（基因组、文献、多组学文本等）	偏好对 / 奖励 / 可验证分数
损失	交叉熵 next-token（及变体）	偏好对比、策略梯度、组相对优势等
目标	重塑能力剖面、适应领域分布	最大化偏好或任务回报
抗遗忘手段	数据混合、回放、正则、重放通用语料	KL 到 ref、偏好覆盖、多目标奖励
是否需要环境交互	否	RLHF/GRPO 常要采样；DPO 用离线偏好
典型成功信号	领域基准↑、通用能力不崩	更符合人类/规则的输出

证据分层（写进你的研究笔记）

讨论某篇生物基础模型论文时，强制三层：

全文证据：方法节写了 reward / PPO / preference / RLHF 吗？
摘要级证据：只提 alignment、instruction 还是明确 RL？
推断：仅因「后训练」「human feedback」就猜有 RL —— 不够。

对 OmniGene-4 类 CPT 工作 的默认判断框架：

若方法是 self-supervised next-token + data mixing/replay → 不是 RL。
若另有 preference ranking 或 reward model 段 → 那一段才是对齐。
「能力剖面变化」可由 CPT 数据配比解释，不必调用 RL。

公式级简要

CPT：

\mathcal{L}_{\mathrm{CPT}}=-\mathbb{E}\big[\log p_\theta(x_{t}|x_{<t})\big] \quad\text{（可加通用/领域混合采样）}

DPO 对齐：

\mathcal{L}_{\mathrm{DPO}}=-\log\sigma\big(\beta[\Delta\log\pi_\theta(y_w)-\Delta\log\pi_\theta(y_l)]\big)

两者都改 $\theta$ ，但 监督信号本质不同。

flowchart TB
  subgraph 不是RL
      CPT[CPT / 预训练]
      SFT[SFT]
  end
  subgraph 是或源自偏好目标
      RM[奖励模型]
      PPOA[RLHF-PPO]
      DPOA[DPO]
      GRPOA[GRPO]
  end
  CPT --> SFT
  SFT --> RM --> PPOA
  SFT --> DPOA
  SFT --> GRPOA

图示

6. 选型与失败模式

任务信号决定方法

你的问题	第一推荐	备选	主要风险
领域语料续训、抗遗忘	CPT + 数据混合/回放	正则、LoRA 分区	误当成 RL；配比不当伤通用能力
让模型回答更符合专家偏好	DPO 族	RLHF-PPO	偏好噪声、长度黑客
代码/工作流可自动验	GRPO / PPO + 规则奖励	Best-of-N	奖励稀疏、过拟合测试
实验条件 → 产量优化，仅有历史表	先监督/高斯过程/贝叶斯优化	离线 RL	过度建模成 MDP
有专家操作轨迹	BC	BC→小预算在线	复合误差
机器人实验站、可仿真	SAC/TD3/PPO	离线预训练+微调	sim-to-real
分子/序列设计有 oracle	模型基优化 / 在线 RL	进化算法	oracle 偏差、模式崩塌
多组学数据库检索与问答	SFT + RAG；必要时 DPO	—	别为了「用上 RL」而 RL

决策树（实用版）

flowchart TD
  A{能否定义清晰奖励或偏好?}
  A -->|否，只有大规模无标序列| CPT[做 CPT/SFT，不是 RL]
  A -->|有偏好对| DPO[DPO 族]
  A -->|有可验证分数| GRPO[GRPO/PPO]
  A -->|有专家动作日志| BC[BC → 再谈离线RL]
  A -->|有交互环境| B{动作空间?}
  B -->|连续控制| SAC[SAC/TD3]
  B -->|离散/通用| PPO[PPO]

图示

常见失败模式

12.1 奖励黑客（Reward Hacking）

现象：分很高，真实目标很糟。
例子：RM 爱长答案 → 模型注水；测试只查关键词 → 模型堆关键词。
缓解：持出分布评估、多奖励、周期性人工抽检、保留 KL。

12.2 过拟合模拟器 / oracle

现象：仿真完美，上真实实验站全崩。
缓解：域随机化、真实数据微调、保守离线策略。

12.3 不可复现

现象：同一配置方差巨大。
缓解：多 seed、记录数据版本与解码参数、固定 eval 协议。

12.4 把 CPT 当 RL 汇报

现象：论文/组会把 next-token 续训写成「强化学习优化领域能力」。
缓解：用第 10 节对照表；无偏好/回报证据就别写 RL。

12.5 离线乐观性

现象：离线 Q 虚高，部署即崩。
缓解：保守惩罚、BC 正则、真实小流量评估。

7. 最小实验

项目	目标	通过标准
A. `dpo_toy.py`	跑通最小 DPO	训练后 $P(y_w)>P(y_l)$ 在玩具集上升
B. `bc_offline_demo.py`	理解 BC vs 乱外推	能指出「无保守的 max-Q」为何虚高
C. 概念迁移	把你的课题填进选型表	写出：信号类型、是否 RL、第一算法、风险
D. 论文精读	任选 DPO 或 RLHF 原文	能复述 1 个核心式 + 1 个消融结论
E. 生物边界操练	对一篇 CPT 论文做三层证据表	明确「有/无 RL」及依据段落

建议实验顺序

第 1 周：SAC/TD3 概念 + 模仿/离线；跑 B。
第 2 周：RLHF → DPO → GRPO；跑 A；完成 C、E。
第 3 周（可选）：读一篇与你方向最近的对齐或离线 RL 论文；写一页「可迁移点 / 不可迁移点」。

参考资料

Haarnoja et al., Soft Actor-Critic, 2018 — arXiv:1801.01290。最大熵目标与自动温度调节。
Fujimoto et al., Addressing Function Approximation Error in Actor-Critic Methods (TD3), 2018 — arXiv:1802.09477。双 Q、目标平滑、延迟更新三板斧。
Ouyang et al., Training language models to follow instructions with human feedback (InstructGPT), 2022 — arXiv:2203.02155。RLHF 三段式的原始工作。
Rafailov et al., Direct Preference Optimization, 2023 — arXiv:2305.18290。DPO 闭式关系与损失，本章核心式来源。
Shao et al., DeepSeekMath (GRPO), 2024 — arXiv:2402.03300。组相对策略优化的技术设定。
Kumar et al., Conservative Q-Learning for Offline RL (CQL), 2020 — arXiv:2006.04779。离线 RL 保守惩罚思想。