强化学习第4章：系统设计、评估与项目决策

强化学习系列

1. 第1章
2. 第2章
3. 第3章
4. 第4章

前几章讨论“如何学策略”，这一章讨论“如何把策略放进真实系统”。重点不是再增加算法名词，而是处理模型误差、工具调用、过程监督、评估协议和项目决策：什么证据足以支持引入 RL，什么情况下应该停在监督学习、偏好优化或普通工作流。

1. 从算法到系统

图示

主线	在干什么	你何时需要它
世界模型	用学到的环境在脑内试错	真交互贵、慢、有风险
工具 Agent	多步选工具、读结果、再决策	工作流/数据库/湿实验协议编排
过程监督	给中间推理/步骤打分	终局奖励太稀疏
评估栈	防止「分高、科学假」	任何要对齐或 RL 的项目
训练课程	把 CPT 与对齐排进同一流水线	生物基础模型后训练
开题论证	书面 Go/No-Go	申请题、组会、合作谈判

主线：

第4章 = 少在真环境里试错（世界模型）+ 会多步用工具（Agent）+ 会评真假好坏（评估）+ 会排训练课（CPT/对齐）+ 会写该不该上 RL（开题）。

---

2. 世界模型与模型基 RL

为什么需要它？

无模型方法（DQN/PPO/SAC）每更新一步都要真交互。生物、机器人、高通量筛选里：

• 一次实验 = 钱、时间、伦理/安全约束；
• 你更希望：先在脑子里（模型里）试 100 次，再上真实 1 次。

世界模型（World Model） 学的是「环境怎么转」；模型基 RL（Model-Based RL, MBRL） 用这个模型做规划或造数据。

关键公式

（1）学动力学（最简）

$$\mathcal{L}_{\mathrm{dyn}}(\psi)=-\mathbb{E}_{(s,a,s')\sim\mathcal{D}}\big[\log p_\psi(s'|s,a)\big]$$

或回归形式：

$$\mathcal{L}_{\mathrm{dyn}}=\mathbb{E}\big[\|s'-f_\psi(s,a)\|^2\big]$$

符号	含义	白话
$p_\psi / f_\psi$	世界模型参数	猜下一状态
$\mathcal{D}$	真实交互数据	模型的「教材」
$s'$	真实下一状态	标准答案

（2）在想象中算回报（开环直觉）

从 $s_0$ 出发，用策略 $\pi$ 与模型滚 $H$ 步：

$$\hat{G}=\sum_{t=0}^{H-1}\gamma^t\,\hat{r}_\psi(s_t,a_t),\quad a_t\sim\pi(\cdot|s_t),\; s_{t+1}\sim p_\psi(\cdot|s_t,a_t)$$

然后用 $\hat{G}$ 改进 $\pi$（策略梯度、CEM 规划、Dyna 式把想象转移塞进 replay 等）。

参数与使用

旋钮	太大/太久	太小/太短
地平线 $H$	模型误差指数放大，越想越偏	变短视，像 bandit
模型容量	过拟合噪声、幻觉动态	学不动复杂转移
真实数据比例	全信模型 → sim-to-real 崩	全信真实 → 退回无模型
重训模型频率	太勤不稳；太懒模型过时	需与策略共进化

适用范围

• 强项：样本效率；适合「交互贵」。
• 弱项：模型偏了，策略会专攻模型漏洞（另一种 reward/model hacking）。
• 生物翻译：表型预测器 / 代理 oracle 若当世界模型用，必须留真实湿实验否决权。

局限与后续

方向	说明
集成 / 不确定性	多模型分歧大的动作别选
潜空间世界模型	Dreamer 等：在 latent 里想象
决策 Transformer / 序列模型	直接建模轨迹，弱化显式规划
无模型 + 更好探索	数据够便宜时，未必上 MBRL

图示

---

3. Agent 系统：工具调用、过程监督与多智能体

工具 Agent：动作空间是 API 或工具调用

为什么需要它？

经典 RL 动作是「左/右/力矩」。科研 Agent 的动作常常是：

• 查多组学数据库、跑 BLAST、写 SQL、调分析脚本、读论文段落；
• 再根据观察决定下一步。

这是 序贯决策 + 工具环境，不是单次聊天补全。

关键形式化

• 状态 $s_t$：对话/工作记忆 + 最近工具输出。
• 动作 $a_t$：选工具 + 填参数，或直接给最终答案。
• 转移：由工具与外部环境决定（确定性或随机）。
• 奖励：任务成功 / 测试通过 / 专家偏好（往往稀疏）。

轨迹：

$$\tau=(s_0,a_0,o_1,a_1,o_2,\ldots,a_T)$$

其中 $o$ 是工具观察（observation）。

训练信号从哪来？

信号	方法	何时用
成功示范轨迹	BC / SFT on tool traces	有专家日志
终局对错	GRPO / PPO + 规则奖励	可自动验
偏好	DPO on 完整轨迹或最终答	难自动打分
无偏好无奖励	不要硬 RL；先做好检索与工作流	多数早期生物问答

参数与常见问题

坑	表现	缓解
幻觉调用	编造工具结果	强制真实执行；结果写回上下文
过长轨迹	成本爆、上下文爆	步数上限、中间摘要
稀疏奖励	学不会中间步	过程奖励、分阶段 SFT
工具侧副作用	误写库、误下单	沙箱、写权限、人工门禁

与「普通 Chat」边界

• 单轮 RAG 问答：未必是 RL。
• 多步工具 + 按成功率优化策略：才进入 RL/Agent 训练。
• 只做 prompt 编排与规则路由：工程系统，不要写成强化学习论文贡献（除非你真优化了策略目标）。

---

过程监督与 PRM

为什么需要它？

很多任务只在最后给分（答案对错、实验成败）。中间 20 步全错，最后撞对，或中间对了最后写错——终局奖励都说不清。

过程监督（Process Supervision） 给每一步或关键步骤打分；PRM（Process Reward Model） 是学出来的过程打分器。

关键公式（直觉）

结果奖励（ORM）：

$$R_{\mathrm{ORM}}(\tau)=r(s_T,a_T)\quad\text{或只看最终答案}$$

过程奖励：

$$R_{\mathrm{proc}}(\tau)=\sum_t r^{\mathrm{proc}}_t(s_t,a_t)$$

训练策略时可混合：

$$R=\lambda R_{\mathrm{ORM}}+(1-\lambda)R_{\mathrm{proc}}$$

符号	含义
$r^{\mathrm{proc}}_t$	第 $t$ 步是否合理（人工/规则/PRM）
$\lambda$	终局 vs 过程的权重

参数与使用

旋钮	直觉
标注粒度	逐步标最贵；可标「关键推理节点」
PRM 过拟合	策略讨好 PRM 文风，而非真逻辑
$\lambda$	过程权过大 → 形式正确但答案错
与搜索结合	PRM 引导 Best-of-N / beam，常比纯 RL 先试

生物场景

任务	过程信号例子
变异致病性解释	证据链是否引用正确位点/文献
实验方案生成	步骤是否缺对照、试剂顺序是否合理
分析流水线	中间 QC 图是否合格

注意：过程标签本身是新的昂贵监督；没有标注预算时，优先可验证中间断言（单元测试、模式校验），而不是空谈 PRM。

---

多智能体：只有交互耦合时才需要

为什么（以及为什么不）需要它？

多智能体（MARL / multi-agent systems）在游戏、交通、分布式控制里天然存在。
科研写作里却容易把「多个 LLM 角色提示」夸张成「多智能体 RL」。

层级	是什么	要不要 MARL
多角色 prompt	同一模型分饰辩手/审稿人	否，是推理编排
多工具流水线	固定 DAG 调用	否，是工作流
多策略博弈	真有对手/协作回报耦合	才考虑 MARL

关键难点（知道即可）

• 非平稳性：别人的策略在变，你的环境也在变。
• 信用分配：团队赢了，哪次动作有功？
• 通信协议：传什么、传多少。

实用建议

• 默认：单 Agent + 工具 + 清晰奖励。
• 只有当问题本身是博弈/分布式控制，再上 MARL 文献。
• 生物信息学组会里，优先把「多智能体」写成可审计的流水线角色，别先上 MARL 公式。

---

4. 评估与失败模式

从代理指标到真实下游

为什么评估是第4章 的核心？

算法再漂亮，若评估只剩「训练曲线向上」，你会被自己骗。
生物与 LLM 场景尤其危险：代理指标涨 ≠ 科学结论对。

三层评估栈

图示

层级	例子	能证明什么	不能证明什么
L1 代理	RM 分、DPO 偏好准确率、GSM8K、内部 QA	优化目标在动	没黑客、没科学正确
L2 专家	林学/组学专家盲评 50 条	领域可信度	大规模泛化、因果
L3 真下游	实验命中率、外部独立数据、上线成功率	有用	单点成功可复现仍要设计

关键公式：别只报一个数

至少同时跟踪：

$$\mathcal{M}=\{m_{\mathrm{task}},\,m_{\mathrm{ref}},\,m_{\mathrm{safety}},\,m_{\mathrm{cost}}\}$$

分量	含义	生物例子
$m_{\mathrm{task}}$	主任务	位点注释 F1、方案可执行率
$m_{\mathrm{ref}}$	相对参考/旧模型	相对 SFT 的胜率
$m_{\mathrm{safety}}$	安全/胡编/有害建议	虚构文献率、危险实验建议率
$m_{\mathrm{cost}}$	延迟、金额、实验预算	平均工具调用次数

怎么设计评估协议？

1. 冻结测试集（时间切割 / 基因家族切割 / 物种切割，防泄漏）。
2. 多 seed / 多解码温度（对齐与采样方法对温度敏感）。
3. 固定对照：随机、SFT、CPT-only、+DPO、+RL —— 缺谁就别宣称谁必要。
4. 错误类型学：不是只报准确率，还要分「编造 DOI、坐标错、逻辑跳」。
5. 否决指标：任一红线（安全、数据泄漏、不可复现）触发则模型不可部署。

对齐/RL 特有的假象

假象	机制	拆穿办法
奖励黑客	钻 RM/规则空子	保留人工集；换 RM 再测
长度偏置	更长更高分	长度控制的对照
基准过拟合	针对公开题刷分	私有/新题；污染检查
离线虚高	Q 乐观	真实小流量 / 真环境
CPT 误报为 RL	叙述偷换	三层证据表（第3章）

---

系统级失败模式

模式	症状	对策
模型黑客	策略专攻世界模型 bug	不确定性惩罚；定期真环境校准
评估自欺	只报 reward	强制 $\mathcal{M}$ 四元组
课程倒置	先 RL 后脏数据 CPT	先数据与 CPT/SFT，有信号再对齐
叙事膨胀	工作流写成 MARL	用第 5、8 节表述纪律
下游缺失	论文只有 benchmark	至少 L2；L3 写进计划与合作
门禁缺失	无法回滚	每个对齐阶段留 checkpoint

---

5. 训练流程与 Go / No-Go 决策

训练流程：CPT → SFT → 可选对齐

把「模型怎么训」写成可执行课程，而不是口号。

7.1 标准流水线

图示

7.2 每阶段检查清单

A. CPT（不是 RL）

• 数据来源、许可、去污（测试集基因/文献是否泄漏）
• 混合比 $\lambda_{\mathrm{mix}}$：领域 vs 通用/回放
• 保存：token 数、学习率、上下文长、checkpoint 哈希
• 监控：领域基准 ↑ 且通用基准不崩（或可接受跌幅写明）
• 论文表述：self-supervised next-token，不写 RL

B. SFT

• 指令格式统一；工具轨迹是否可执行复现
• 难例 / 拒答 / 安全例占比
• 与 CPT 数据是否风格冲突

C. 对齐（仅当有信号）

• 信号类型：偏好对 / 规则奖励 / 人类排序
• 算法：DPO 默认；可验证再用 GRPO/PPO
• $\beta$ / KL、长度偏置、奖励黑客预案
• ref 模型版本锁定

D. 发布门禁

• L1+L2 通过；L3 有计划或已完成小规模
• 已知失败模式写进 model card
• 回滚到 SFT/CPT 的路径存在

7.3 抗遗忘：公式级直觉

混合采样的期望损失：

$$\mathcal{L}=(1-\lambda_{\mathrm{mix}})\mathcal{L}_{\mathrm{domain}} +\lambda_{\mathrm{mix}}\mathcal{L}_{\mathrm{replay}}$$

符号	含义
$\mathcal{L}_{\mathrm{domain}}$	领域语料 next-token
$\mathcal{L}_{\mathrm{replay}}$	通用或旧领域回放
$\lambda_{\mathrm{mix}}$	回放比例

白话：$\lambda_{\mathrm{mix}}$ 太小 → 领域尖、通用崩；太大 → 领域化不够。
这是 CPT 抗遗忘，不是 RL 的 KL 项；别混着写。

7.4 何时在课程里插入 RL？

条件	插入点
只有语料	停在 CPT/SFT
有专家示范	SFT/BC 后评估
有偏好对	SFT 后 DPO
有自动验证器	SFT 后 GRPO/PPO
有贵交互环境	考虑世界模型 + 小预算在线

---

Go / No-Go：该不该上 RL

下面可直接粘贴进开题报告 / 组会一页纸。配套脚本 rl_go_nogo_checklist.py 会按你的选项生成同结构提纲。

8.1 一页结构

1. 科学问题（非算法问题）
我们要回答/优化的生物学或信息学问题是：________。

2. 决策对象
状态 / 上下文：________
动作：（token / 工具 / 实验参数）
一步还是多步：

3. 可用监督信号（最关键）

信号	有无	规模	噪声
无标注序列
标准答案 SFT
专家轨迹 BC
偏好对
可验证奖励
在线环境

4. Go / No-Go 规则

• No-Go（默认）：仅有无标注序列 → CPT/SFT，不上 RL。
• Go-DPO：有可靠偏好对，且主诉求是风格/安全性/专家偏好。
• Go-GRPO/PPO：有自动验证器或可重复打分，且需要超过 SFT。
• Go-BC/Offline：有日志；交互贵。
• Go-MBRL：真环境极贵，且能建可检验的代理模型。

5. 第一推荐与对照

• 第一推荐：________
• 强基线对照：________（必须强过的非 RL 方法）
• 消融：去 KL / 去过程奖励 / 仅 SFT / 仅 CPT

6. 风险与否决条件

风险	监测	否决线
奖励黑客	人工集、换奖励再测	主任务↑但红线指标↓
遗忘	通用/旧任务套件	超过约定跌幅
不可复现	多 seed	方差淹没效应
科学错误	专家盲评	虚构关键事实率 > 阈值

7. 资源与里程碑

• 数据周：________
• 算法周：________
• L2 专家评估：________
• L3 下游：________

8. 表述纪律

• 若方法损失是 next-token，则文中写 CPT/自监督，不写强化学习。
• 若只有 DPO，写 偏好优化 / 对齐，并说明与 RLHF 目标关系。
• 「Agent」仅在存在多步环境交互或工具轨迹优化时使用。

8.2 快速决策树（决策版）

图示

8.3 填空示例（林木 / 多组学虚构示意）

项	示例填写
科学问题	跨物种转录因子结合假设的文献+组学证据整合问答
信号	文献与数据库无标文本 + 少量专家偏好对
第一推荐	CPT（领域文献/组学文本）→ SFT（问答）→ 小规模 DPO
不上	端到端 PPO（无稳定奖励、无环境）
对照	RAG+SFT；无 CPT 的 SFT；无 DPO 的 CPT+SFT
否决	虚构引用率 > 5%；通用分子生物问答跌幅 > 约定

---

6. 算法与场景总表

场景	第一推荐	备选	明确不推荐
游戏/简单控制入门	DQN / PPO	—	一上来 MARL
连续控制	SAC / TD3	PPO	硬套 DPO
只有专家日志	BC	离线 RL	无保守的 Q max
静态人类偏好	DPO	RLHF-PPO	SAC
数学/代码可验证	GRPO/PPO	Best-of-N	假 RM 刷分
领域语料续训	CPT+回放	LoRA 分区	称其为 RL
工具工作流早期	SFT 轨迹 + 规则	—	空谈多智能体 RL
交互极贵	世界模型 + 小预算真机	贝叶斯优化	纯 on-policy 狂采样
开题前信号不清	先评估与数据	—	为创新而上 RL

---

7. 最小验证项目

项目	目标	通过标准
A. toy_world_model.py	理解模型误差随 $H$ 放大	能解释想象回报与真实回报分叉
B. rl_go_nogo_checklist.py	生成你课题的 Go/No-Go 提纲	输出完整 8 节论证草稿
C. 评估栈设计	为你的任务写 L1/L2/L3	每层 ≥2 指标 + 1 否决线
D. 训练课程表	填 CPT/SFT/对齐检查清单	标出「非 RL」步骤
E. 一页开题	用第 8 节模板	组会 5 分钟能讲清

建议验证顺序

• 第 1 周：世界模型 + Agent/过程监督概念；跑 A。
• 第 2 周：评估栈 + 训练课程 + 开题纸；跑 B、完成 C–E。

---

参考资料

1. Ha & Schmidhuber, World Models, 2018 — arXiv:1803.10122。用学到的环境在潜空间里想象试错。
2. Hafner et al., Dream to Control (Dreamer), 2020 — arXiv:1912.01603。latent 想象中的策略学习。
3. Lightman et al., Let’s Verify Step by Step, 2023 — arXiv:2305.20050。过程监督与 PRM 对比结果奖励。
4. Yao et al., ReAct: Synergizing Reasoning and Acting in Language Models, 2022 — arXiv:2210.03629。工具使用 Agent 的推理-行动轨迹。
5. Liang et al., Holistic Evaluation of Language Models (HELM), 2022 — arXiv:2211.09110。多指标评估思想。