跳转到内容

扩散模型导航:定义、架构、应用与模型清单

面向有基础神经网络知识、想真正搞懂扩散模型并按需选型的读者(生物方向重点照顾)。这页是入口:先讲清「是什么」,再拆「架构」,然后讲「能解决什么问题」,最后给「现有模型清单」。每一节都从直觉出发,再上公式和模型名。

想象一张清晰的照片,被雪花噪点一帧一帧盖住,几十帧后整张图变成纯雪花,什么也看不出。扩散模型做的事,就是把这个过程倒放:从一屏随机雪花出发,一帧一帧把噪点擦掉,最后还原出一张照片。关键在于——如果”怎么擦”是神经网络出来的,那擦出来的可以是一张从没存在过、却很真实的新照片。这就是”生成”。

官方定义:扩散模型(Diffusion Probabilistic Model)是一类生成模型,本质是一条用变分推断训练的马尔可夫链,由两个方向相反的过程组成:

  • 前向 / 加噪(固定,不用学):按预设的噪声调度,往真实数据上一步步加高斯噪声,经过 T 步后,数据近似变成纯高斯噪声 N(0,I)\mathcal{N}(0, I)
  • 反向 / 去噪(用神经网络学):从纯噪声出发,逐步预测”这一步加了什么噪声”并把它去掉,最终还原出一个真实样本。

为什么拆成这么多小步?因为”一步到位从噪声变照片”太难学;扩散把它拆成几十到上千个”只去掉一点点噪声”的简单小步,每步都好学,连起来就能生成高质量样本。

扩散模型:前向加噪与反向去噪

一句话记住:前向负责”把数据搅成噪声”(不用学,只是定义问题),反向负责”从噪声里学着还原”(这才是模型)。 训练时就是不断地:取真实样本→加上已知强度的噪声→让网络预测加了什么,损失就是预测噪声与真实噪声之差。

出处:Sohl-Dickstein 等 2015(用非平衡热力学定义这套加噪/去噪);Ho 等 2020(DDPM,把训练目标简化成”预测噪声”,让它真正好用)。详见文末参考资料。


2. 主要架构(核心组件 + 经典公式 + 关键参数)

Section titled “2. 主要架构(核心组件 + 经典公式 + 关键参数)”

把扩散模型拆开,其实只有两层:训练/生成绕不开的三个核心环节(带公式),和决定它”长成哪个模型”的四个可替换组件(带参数)。

① 前向加噪:一步到位的闭式

xt=αˉtx0+1αˉtϵ,ϵN(0,I)x_t = \sqrt{\bar\alpha_t}\,x_0 + \sqrt{1-\bar\alpha_t}\,\epsilon,\qquad \epsilon\sim\mathcal{N}(0, I)

人话:第 tt 步的带噪样本 = 原图按比例缩一缩,再叠一团高斯噪声。x0x_0 是真实样本,ϵ\epsilon 是随机噪声,αˉt\bar\alpha_t 是噪声调度(tt 越大越接近 0,噪声越多)。好处是任意第 tt 步能直接算出,训练时不必真的跑 tt 次。

② 训练目标:让网络把噪声”认出来”

L=Ex0,ϵ,tϵϵθ(xt,t)2\mathcal{L}=\mathbb{E}_{x_0,\,\epsilon,\,t}\big\lVert \epsilon-\epsilon_\theta(x_t, t)\big\rVert^2

人话:随机挑一步 tt,给原图加噪得到 xtx_t,让网络 ϵθ\epsilon_\theta 看着 xtx_t 猜”刚加进去的噪声 ϵ\epsilon 是什么”,猜得越准损失越小。本质就是一个均方误差——没有对抗、没有博弈,这是扩散比 GAN 训练稳的根因。

③ 反向采样:从噪声一步步退回样本

从纯噪声 xTx_T 出发,每步用网络估出噪声、退掉一点,重复到 x0x_0。两种经典退法:DDPM 祖先采样(带随机性、步数多)、DDIM 确定性采样(可跳步、可复现)。

除了预测噪声 ϵ\epsilon,等价的还能预测干净样本 x0x_0 或速度 vv;高分辨率与蒸馏常用 vv,高噪声段更稳。

下面这条流水线,换掉任意一个槽位就长出一个新模型——这正是模块 4 里几十个模型的由来。

扩散模型的四个可替换组件
组件干什么常见选择关键参数(怎么调)
① 数据 / 表示在什么空间扩散像素 / VAE 隐空间 / 坐标 / 图隐空间省算力;生物数据常需保对称性
② 噪声调度每步加多少噪声、什么噪声高斯 / 离散;linear / cosine扩散步数 T≈1000;高分辨率用 cosine;离散数据必须用离散噪声
③ 网络主干谁来去噪U-Net / DiT / 等变 GNN图像用 U-Net 或 DiT;3D 分子/蛋白用等变网络
④ 引导 + 采样器控制方向 + 加速CFG / DPM-Solver++引导强度 w(图像≈7,科学任务调低);采样步数 NFE(10–50)

记住这张表:①② 决定”在什么空间、怎么破坏”,③ 决定”用什么网络去噪”,④ 决定”怎么控制、怎么快”。 后面所有模型,几乎都是在这四个槽位上做不同选择。

同一套”加噪—去噪”,换个数据表示就换个问题。下面按任务给例子,每个都配一个具体场景 + 对应模型:先用最好懂的通用例子建立感觉,再落到生物。

条件生成 / 设计——给一个约束,造出满足它的新样本

  • 通用:输入一句”一只戴帽子的柯基”,生成对应图像 →(Stable Diffusion / SD3
  • 生物:给定一个功能位点或对称要求,从头设计出能折叠的蛋白骨架 →(RFdiffusion / Chroma

无条件生成——不给约束,纯探索”可能性空间”

  • 通用:随机生成一张不存在的人脸 →(Stable Diffusion
  • 生物:随机采样出全新的、自然界没有的小分子或蛋白 →(E(n)-EDM / Chroma

补全 / 修复——给残缺,补出合理的整体

  • 通用:抹掉照片里的路人、自动补背景(inpainting)→(Stable Diffusion
  • 生物:给蛋白序列的一段做掩码、补出其余氨基酸 →(EvoDiff / DPLM

构象 / 结构预测——给拓扑,算出 3D 形状

  • 生物:给一个分子的连接图,生成它在空间里的多个稳定构象 →(GeoDiff / Torsional Diffusion
  • 生物:预测蛋白-核酸-小分子复合物的联合结构 →(AlphaFold 3 的扩散式结构生成端)

对接——把”放在哪、怎么放”当成生成问题

  • 生物:预测小分子配体落进蛋白口袋的结合姿态,用于虚拟筛选 →(DiffDock

复原 / 重建 / 分割——把退化观测当成”被加了噪”,去噪还原

  • 生物:用更少的采样加速 MRI 重建、给低剂量 CT 去噪 →(Score-MRI);医学影像病灶/细胞分割 →(MedSegDiff

其他模态——只要能定义”数据→加噪”,就能套

  • 文生视频(Sora)、晶体材料生成(MatterGen)、DNA 调控序列生成(DDSM)、单细胞表达谱插补(scDiffusion

抓住这条线:任务变了,变的只是”生成对象的数据表示”和”加什么噪声”,去噪学习这件事本身没变。 这也是为什么一个范式能铺满这么多领域。

接模块 2 的”组件②决定机制”,把代表模型按机制分成六个子类;每个一句话定位,详细出处见文末参考文献。机制选定后,再用文末的生物模态速查表对到具体方向。

4.1 连续高斯扩散(图像与通用主线)

Section titled “4.1 连续高斯扩散(图像与通用主线)”
  • DDPM:预测噪声 ε,经典基石。Score SDE:用 SDE/ODE 统一框架。iDDPM:学习方差 + 余弦调度。
  • 隐空间与架构:LDM / Stable Diffusion(VAE 隐空间扩散,主流落地)、DiT(Transformer 主干)、SDXL(放大版)、EDM(Karras,设计空间基准)。
  • 采样加速:DDIM(确定性可跳步)、DPM-Solver(10–20 步高阶求解器)。
  • 引导可控:ADM / Classifier Guidance(首超 GAN)、CFG(条件标配)、ControlNet(结构条件旁路)。

4.2 流匹配 / Rectified Flow(连续,新范式)

Section titled “4.2 流匹配 / Rectified Flow(连续,新范式)”
  • Rectified Flow / Flow Matching:把生成路径拉直,少步更稳,与扩散同源。SD3:把 rectified flow 规模化(MM-DiT)。
  • Consistency Models:一步/少步生成。LCM:在隐空间蒸馏出 2–4 步的 Stable Diffusion。
  • D3PM:离散状态空间扩散通用框架。SEDD:score entropy,语言建模超同规模 GPT-2。EvoDiff:蛋白序列离散扩散。DPLM:扩散蛋白语言模型。

4.5 几何等变扩散(3D 分子 / 蛋白)

Section titled “4.5 几何等变扩散(3D 分子 / 蛋白)”
  • E(n)-EDM:首个直接 3D 生成分子的等变扩散。GeoDiff / Torsional Diffusion:分子构象。FrameDiff:SE(3) frame 上的蛋白骨架扩散。RFdiffusion:de novo 蛋白设计标杆。DiffDock:把对接建成位姿扩散。
  • DiGress:离散去噪图生成代表作。GDSS:节点 + 边联合 SDE。

跨机制的两个生物大件:AlphaFold 3(结构预测端用扩散式去噪输出坐标)、Chroma(可编程条件的蛋白生成);MatterGen 把这套搬到无机晶体。

模态代表模型
蛋白结构 / 设计RFdiffusion、Chroma、FrameDiff
蛋白结构预测AlphaFold 3
蛋白序列EvoDiff、DPLM
小分子 / 构象E(n)-EDM、GeoDiff、Torsional Diffusion
分子对接DiffDock
基因组 / RNADDSM、RiboDiffusion
单细胞 / 组学scDiffusion
医学影像Score-MRI、MedSegDiff
材料 / 晶体MatterGen

这只是骨干清单,完整 200+ 模型与逐个深挖会在后续 L1/L2/L3 与单模型文章里补全。

  1. Deep Unsupervised Learning using Nonequilibrium Thermodynamics(扩散理论源头) — Sohl-Dickstein 等 · 2026-06-02 · ICML 2015
  2. Generative Modeling by Estimating Gradients of the Data Distribution(NCSN) — Song, Ermon · 2026-06-02 · NeurIPS 2019
  3. Denoising Diffusion Probabilistic Models(DDPM) — Ho, Jain, Abbeel · 2026-06-02 · NeurIPS 2020
  4. Improved Denoising Diffusion Probabilistic Models(iDDPM) — Nichol, Dhariwal · 2026-06-02 · ICML 2021
  5. Score-Based Generative Modeling through SDEs(统一框架) — Song 等 · 2026-06-02 · ICLR 2021
  6. Diffusion Models Beat GANs on Image Synthesis(ADM / 分类器引导) — Dhariwal, Nichol · 2026-06-02 · NeurIPS 2021
  7. Denoising Diffusion Implicit Models(DDIM) — Song, Meng, Ermon · 2026-06-02 · ICLR 2021
  8. DPM-Solver: 高阶 ODE 求解器 — Lu 等 · 2026-06-02 · NeurIPS 2022
  9. Classifier-Free Diffusion Guidance(CFG) — Ho, Salimans · 2026-06-02 · NeurIPS 2021 Workshop
  10. Elucidating the Design Space of Diffusion-Based Generative Models(Karras EDM) — Karras 等 · 2026-06-02 · NeurIPS 2022
  11. Consistency Models(少步/单步生成) — Song, Dhariwal, Chen, Sutskever · 2026-06-02 · ICML 2023
  12. Latent Consistency Models(LCM) — Luo 等 · 2026-06-02 · 2023
  13. Adding Conditional Control to Text-to-Image Diffusion Models(ControlNet) — Zhang 等 · 2026-06-02 · ICCV 2023
  14. High-Resolution Image Synthesis with Latent Diffusion Models(LDM / Stable Diffusion) — Rombach 等 · 2026-06-02 · CVPR 2022
  15. Scalable Diffusion Models with Transformers(DiT) — Peebles, Xie · 2026-06-02 · ICCV 2023
  16. SDXL: Improving Latent Diffusion Models for High-Resolution Image Synthesis — Podell 等 · 2026-06-02 · ICLR 2024
  17. Flow Straight and Fast: Rectified Flow — Liu, Gong, Liu · 2026-06-02 · ICLR 2023
  18. Flow Matching for Generative Modeling — Lipman 等 · 2026-06-02 · ICLR 2023
  19. Scaling Rectified Flow Transformers for High-Resolution Image Synthesis(SD3) — Esser 等 · 2026-06-02 · ICML 2024
  20. Structured Denoising Diffusion Models in Discrete State-Spaces(D3PM) — Austin 等 · 2026-06-02 · NeurIPS 2021
  21. Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution(SEDD) — Lou, Meng, Ermon · 2026-06-02 · ICML 2024
  22. DiGress: Discrete Denoising Diffusion for Graph Generation — Vignac 等 · 2026-06-02 · ICLR 2023
  23. Score-based Generative Modeling of Graphs via the System of SDEs(GDSS) — Jo, Lee, Hwang · 2026-06-02 · ICML 2022
  24. Equivariant Diffusion for Molecule Generation in 3D(E(n) EDM) — Hoogeboom 等 · 2026-06-02 · ICML 2022
  25. GeoDiff: a Geometric Diffusion Model for Molecular Conformation Generation — Xu 等 · 2026-06-02 · ICLR 2022
  26. Torsional Diffusion for Molecular Conformer Generation — Jing 等 · 2026-06-02 · NeurIPS 2022
  27. DiffDock: Diffusion Steps, Twists, and Turns for Molecular Docking — Corso 等 · 2026-06-02 · ICLR 2023
  28. De novo design of protein structure and function with RFdiffusion — Watson 等(Baker Lab) · 2026-06-02 · Nature 2023 · DOI 10.1038/s41586-023-06415-8
  29. Illuminating protein space with a programmable generative model(Chroma) — Ingraham 等(Generate Biomedicines) · 2026-06-02 · Nature 2023 · DOI 10.1038/s41586-023-06728-8
  30. SE(3) diffusion model with application to protein backbone generation(FrameDiff) — Yim 等 · 2026-06-02 · ICML 2023
  31. Accurate structure prediction of biomolecular interactions with AlphaFold 3 — Abramson 等(DeepMind/Isomorphic) · 2026-06-02 · Nature 2024 · DOI 10.1038/s41586-024-07487-w
  32. Protein generation with evolutionary diffusion: sequence is all you need(EvoDiff) — Alamdari 等(Microsoft) · 2026-06-02 · bioRxiv 2023 · DOI 10.1101/2023.09.11.556673
  33. Diffusion Language Models Are Versatile Protein Learners(DPLM) — Wang 等 · 2026-06-02 · ICML 2024
  34. MatterGen: a generative model for inorganic materials design — Zeni 等(Microsoft) · 2026-06-02 · Nature 2025 · arXiv 2312.03687