扩散模型第7章：选型与评估协议
生成模型评估最容易犯的错误，是把“像训练数据”当成“对科学问题有用”。本章采用一个四层检查框架组织证据，但它只是实用模板，不是领域统一标准。
1. 从成功定义开始，而不是从指标开始
Section titled “1. 从成功定义开始，而不是从指标开始”在训练前先写一句可证伪的成功定义，例如：“生成骨架经过独立序列设计与结构预测后具有较高 designability，并在实验中表现出目标结合”；或者“合成单细胞数据加入训练后，在独立供体测试集上提高稀有细胞分类性能”。
只有成功定义明确，指标才知道应该测什么。
flowchart LR L1["分布/有效性"] --> L2["结构与约束"] L2 --> L3["任务效用"] L3 --> L4["实验或专家验证"]
2. 四层检查框架
Section titled “2. 四层检查框架”L1：分布与基本有效性
Section titled “L1：分布与基本有效性”回答“样本是否落在合理的数据域里”。图像可以使用 FID/KID 等分布指标；分子可以检查 chemical validity、唯一性与新颖性；单细胞可检查边缘分布和 cell-type composition。
FID 通常基于 Inception-v3 特征。对病理、显微或其他远离 ImageNet 的图像，特征域错配必须显式讨论；必要时应使用领域特征或任务模型做补充。
L2：结构关系与硬约束
Section titled “L2：结构关系与硬约束”回答“模型是否保持变量之间真正重要的联合关系”。例如蛋白的几何约束、分子的价态与构象、单细胞的基因共变关系、空间组学的空间邻域结构。
单个变量的边缘分布对了，不代表联合结构对了。
L3：任务效用
Section titled “L3：任务效用”回答“生成数据或设计能否改善真正要做的事”。典型方式包括 TSTR（train on synthetic, test on real）、真实测试集上的数据增强收益、对接/筛选 enrichment、生成设计通过后续计算过滤的比例等。
这里必须使用独立测试集，并把训练数据、生成数据和评估数据的来源严格隔离。
L4：实验或领域验证
Section titled “L4：实验或领域验证”对可实验验证的科学问题，计算指标最终只能提供候选优先级。湿实验、独立结构测定、功能测定或领域专家盲评提供更接近最终目标的证据。
蛋白设计中，AlphaFold/ESMFold self-consistency 很有用，但结构预测仍是计算假设而不是实验真值。
3. 不同任务的评估重点
Section titled “3. 不同任务的评估重点”| 任务 | 基础有效性 | 结构/约束 | 任务级证据 | 最终验证 |
|---|---|---|---|---|
| 蛋白结构生成 | 长度、几何、clash | designability、拓扑、多样性 | 目标 motif/界面满足度 | 表达、结构、结合或功能实验 |
| 小分子生成 | validity、unique、novel | 价态、3D 几何、合成可行性 | docking/enrichment/性质预测 | 合成与生化实验 |
| 单细胞/组学生成 | 边缘分布、细胞组成 | gene–gene/cell-state 关系 | TSTR、扰动预测等 | 独立批次/供体验证 |
| 医学/病理图像 | 分布与视觉质量 | 解剖/组织学一致性 | 分割、检测、分类的真实集性能 | 盲评与临床/实验验证 |
固定阈值很少能跨任务迁移。特别是 scTM、docking score、FID 等指标，其“好”的范围依数据集和协议而变化。
4. 五类比模型更危险的评估错误
Section titled “4. 五类比模型更危险的评估错误”同源蛋白、相邻基因组窗口、同一患者切片或同一供体细胞跨越训练/测试集，都会让结果虚高。生物数据尤其要按实体、家族、染色体、患者或供体做分组划分。
记忆训练数据
Section titled “记忆训练数据”生成样本和训练集相似并不一定是成功。应报告最近邻、序列/结构相似度和重复率，并检查是否只是在重放训练样本。
只展示最好样本
Section titled “只展示最好样本”随机种子、过滤流程和展示规则必须预先定义。最好报告全量分布与通过率，而不是只展示几个视觉上最好的设计。
用同一个模型生成又评估
Section titled “用同一个模型生成又评估”如果生成器和评估器共享预训练数据、架构或强偏置，“独立评估”会被削弱。可使用多个正交评估器，并最终用实验或外部数据集验证。
指标与真实目标错位
Section titled “指标与真实目标错位”训练 loss、FID、预测置信度或 docking score 都只是代理。最终主表应至少包含一个直接对应项目成功定义的指标。
5. 什么时候不该先上扩散
Section titled “5. 什么时候不该先上扩散”扩散模型不是通用优化器。以下情况应优先建立更简单的基线：
- 任务本质是确定性预测或分类，而不是生成分布；
- 数据量很小，且没有可靠预训练模型可迁移；
- 已有物理/统计模型直接解决目标，生成模型没有明确增益；
- 成功标准无法在独立数据或实验中验证；
- 生成对象需要严格守恒，而模型没有显式处理这些约束。
“存在唯一最优答案就应该用 RL”同样是不成立的。优化、贝叶斯优化、搜索、监督学习、RL 和生成模型是不同工具，应由反馈形式和问题结构决定。
6. Go/No-Go：看阻断项，不做机械计分
Section titled “6. Go/No-Go：看阻断项，不做机械计分”开题前至少回答：
| 问题 | Go 的最低条件 |
|---|---|
| 生成分布是否是任务核心？ | 能解释为什么需要多个候选，而不是一个预测值 |
| 数据与划分是否可靠？ | 有独立验证/测试实体，泄漏风险可控 |
| 是否有简单基线？ | 至少有非扩散生成或判别基线 |
| 成功是否可验证？ | 有任务级指标，最好还有实验/专家验证 |
| 资源是否匹配？ | 能承受训练、采样和大规模评估成本 |
任何关键项缺失，都应先补问题定义或基线，而不是累计“两个 No-Go”后机械停止。
7. 最小报告模板
Section titled “7. 最小报告模板”最终报告建议固定包含：数据划分与去重规则、生成数量与过滤流程、分布/有效性指标、结构约束、任务级效用、最近邻/记忆检查、计算成本、失败案例，以及实验或专家验证（若可行）。这样不同模型之间才有可比较的证据链。
主题色
字体
字号
视觉效果
即将离开本站
你将前往外部网站：
该网站与本站无关，本站不对其内容、安全性或可用性负责。确定后将在新标签页打开。