两个 EDM 是同一个吗？

不是。Karras 的 EDM（arXiv:2206.00364）是图像扩散的设计空间框架；Hoogeboom 的 E(n)-EDM（arXiv:2203.17003）是 3D 分子生成的等变扩散，二者同名但无关。

SD3 和之前的 Stable Diffusion 有什么不同？

SD3 改用 rectified flow（用直线连接数据与噪声）并把噪声采样偏置到感知相关尺度，主干换成文本/图像双流的 MM-DiT，是把 rectified flow 规模化到高分辨率文生图。

ControlNet 和 T2I-Adapter 有什么区别？

ControlNet 复制主干做可训练旁路分支，注入结构条件且冻结原模型；T2I-Adapter 是轻量适配器，参数更少但控制精度略低。两者都与 IP-Adapter 兼容。

采样加速有哪些方法？

免重训加速用高阶求解器（DPM-Solver++/UniPC，10-20步）；少步蒸馏用 Consistency Models、LCM、SDXL-Turbo（1-4步）；SD3 用 rectified flow 直线路径天然更适合少步。

Stable Diffusion 架构与演进：从 LDM 到 FLUX

本文聚焦 Stable Diffusion 的工程架构与演进（主干、条件控制、代际谱系）。
DDPM 闭式加噪 / ε 损失 / 采样三式、NFE≠T、参数化与排障的细讲，见教程第 3 章：DDPM 三式精讲。
隐空间设计原则见隐空间扩散深入；全家族地图见扩散模型导航。

概览

Stable Diffusion 是基于隐空间扩散（LDM）的开源文生图模型家族，核心架构包含：感知压缩自编码器（固定）+ 隐空间扩散主干（可演进）+ 条件注入机制 + 采样器。从 2022 年的 SD 1.x 到 2024 年的 FLUX，主干从 UNet 演进到 Transformer（DiT/MM-DiT），采样从上千步压缩到几步，条件控制从单一文本扩展到多模态。

主线演化：扩散主干从 UNet（cross-attention 注入条件）→ DiT（Transformer）→ MM-DiT（SD3 双流）；采样从上千步被求解器与蒸馏压到几步；公式从弯曲的扩散前向走向 rectified flow 的直线路径（SD3）。隐空间范式已系统迁移到科学领域：分子（GeoLDM）、蛋白结构（LatentDiff、PLAID）、通用图（Latent Graph Diffusion）。

1. 扩散主干的演进：UNet → DiT → MM-DiT

flowchart LR
U["UNet + cross-attention<br/>LDM / SD 1.x-2.x"] --> D["DiT<br/>纯 Transformer · 操作 latent patches"] --> M["MM-DiT<br/>SD3 · 文本/图像双流"]

去噪主干演进 UNet → DiT → MM-DiT

UNet + cross-attention（LDM 原版）：通过在 UNet 主干加 cross-attention，把扩散变成灵活的多模态条件生成器。域特定编码器 $\tau_\theta$ 把条件 $y$ 映射为 K、V；UNet 的展平中间特征 $\varphi_i(z_t)$ 作为 Q：

$\text{Attention}(Q,K,V)=\text{softmax}\!\Big(\frac{QK^\top}{\sqrt{d}}\Big)V,\quad Q{=}W_Q\varphi_i(z_t),\ K{=}W_K\tau_\theta(y),\ V{=}W_V\tau_\theta(y)$

注意 Q 来自 UNet 中间特征（噪声隐表示展平成序列），不是原始隐变量； $\tau_\theta$ 模态灵活，不限于文本。

DiT（Peebles & Xie, arXiv:2212.09748, ICCV 2023）：用纯 Transformer 替换 UNet，仍在 VAE 隐空间上操作 latent patches。强缩放规律——更高 Gflops 持续带来更低 FID；最大的 DiT-XL/2（118.6 Gflops）在类条件 ImageNet 256×256 达 FID 2.27（该数字为当时 SOTA，后续已被超越）。

MM-DiT（SD3, arXiv:2403.03206）：文本与图像 token 各自一套权重、在网络内做双向注意力混合，是 Sora/SD3 这条 Transformer 主干路线的延伸。

2. 条件与可控

flowchart LR
Y["条件 y<br/>文本/图像/结构"] -->|"τθ 编码 → K, V"| CA["UNet 内 cross-attention"]
Zt["噪声隐表示 z_t → Q"] --> CA
CA --> Out["条件化去噪输出"]
CFG["CFG：有/无条件外推（强度 w）"] -.调贴合度.-> Out
Ctrl["ControlNet / T2I-Adapter / IP-Adapter<br/>旁路分支 · 冻结主干"] -.注入结构/图像条件.-> CA

条件注入：cross-attention + CFG + 适配器

cross-attention 文本条件：见上，是 LDM/SD 注入文本的标准方式。
Classifier-Free Guidance（CFG）（Ho & Salimans, arXiv:2207.12598）：同一网络同时学有条件/无条件去噪，采样时在两者间外推，用强度 $w$ 控制服从度。图像常用 $w\approx7$ ，科学任务调低以保多样性。
ControlNet（Zhang 等, arXiv:2302.05543, ICCV 2023）：复制主干做可训练旁路分支，注入边缘/姿态/深度/分割等结构条件，冻结原模型。
T2I-Adapter（arXiv:2302.08453）：轻量适配器对齐内部知识与外部控制信号。
IP-Adapter（arXiv:2308.06721）：解耦 cross-attention，文本与图像特征各走一套；仅 22M 参数，且与 ControlNet/T2I-Adapter 兼容。

3. 训练与采样

本节只作 SD 语境下的速查清单。若你还不熟「闭式加噪、为什么可以随机抽 $t$ 、训练 $T$ 与采样 NFE 为何不是一回事」，请先读 DDPM 三式精讲，再回来看 SD 里用了哪种参数化与求解器。

flowchart LR
X0["x0"] -->|加噪| XT["x_t"]
XT -->|"网络预测 ε / x0 / v"| L["MSE 损失（训练）"]
NZ["纯噪声 x_T"] -->|"求解器 DDIM/DPM-Solver++/UniPC：10-50 步"| G["生成样本"]
NZ -->|"蒸馏 LCM/Turbo/Consistency：1-4 步"| G

训练与采样

预测目标： $\epsilon$ -prediction（DDPM 标准）、 $x_0$ -prediction、 $v$ -prediction 三者等价； $v$ -prediction（Salimans & Ho, arXiv:2202.00512）在高噪声段更稳，常用于高分辨率与蒸馏。SD2.x 即用 $v$ -pred。
噪声调度：linear → cosine（iDDPM, arXiv:2102.09672）更适合高分辨率；SD3 把时间步采样偏置到感知相关尺度。
采样器（免重训加速）：DDIM（arXiv:2010.02502）确定性可跳步；DPM-Solver / DPM-Solver++（arXiv:2206.00927 / 2211.01095）10–20 步主流默认；UniPC 更少步。
少步 / 蒸馏：Consistency Models（arXiv:2303.01469）、LCM（arXiv:2310.04378）、SDXL-Turbo/ADD（对抗蒸馏）把采样压到 1–4 步。

4. 演进谱系（图像主线）

flowchart LR
LDM["LDM 2022<br/>隐空间扩散范式"] --> SD12["SD 1.x / 2.x<br/>UNet + CLIP"] --> SDXL["SDXL<br/>双文本编码器 + refiner"] --> SD3["SD3<br/>rectified flow + MM-DiT"] --> FLUX["FLUX.1<br/>细节不确定"]
Pix["像素级联路线<br/>Imagen / DALL·E 2"] -.不同路线·对比.-> LDM

图像主线谱系

代际	关键变化	文本编码器 / 主干	出处
LDM	隐空间扩散范式确立	UNet + CLIP	arXiv:2112.10752
SD 1.x	f=8 KL 隐空间、512、ε-pred	CLIP ViT-L	—
SD 2.x	768、v-pred	OpenCLIP ViT-H	—
SDXL	3× 大 UNet、1024 原生、refiner	双编码器 CLIP ViT-L + OpenCLIP ViT-bigG	arXiv:2307.01952
SD3	rectified flow + MM-DiT	含 T5 / MM-DiT	arXiv:2403.03206
FLUX.1	rectified flow Transformer（约 12B）	无公开论文，细节不确定	—

SDXL：UNet 约 2.6B、完整双模型管线约 6.6B；refiner 用 SDEdit（img2img）在最后若干步加细节。
SD3：rectified flow 用直线连接数据与噪声（而非弯曲前向），把噪声采样偏置到感知相关尺度。注意 rectified flow 最早由 Liu 等 2022（arXiv:2209.03003）提出，SD3 是采用/扩展而非发明。
FLUX.1 / Midjourney：FLUX（Black Forest Labs, 2024）一般被认为是 rectified flow Transformer，但无同行评审论文、细节不确定；Midjourney 架构未公开。
与像素级联路线对比：Imagen（arXiv:2205.11487）、DALL·E 2 / unCLIP（arXiv:2204.06125）走「像素空间 + 级联超分」，质量高但算力重；隐空间路线以更低算力换取可负担的开源生态，成为社区主流。

5. 生物领域应用案例

flowchart LR
Obj["生物对象<br/>分子 / 蛋白 / 图"] -->|"等变 或 折叠模型 编码器"| Z["隐空间 z<br/>含等变结构"]
Z -->|"隐空间扩散（可加 CFG 条件）"| Zg["z'"]
Zg -->|"解码（常为冻结解码器）"| Out["生成结构 / 序列 / 图"]

生物隐空间扩散统一管线

生物隐空间扩散：从隐空间经扩散生成蛋白骨架与小分子 实例图·生物：隐空间（左，含去噪环）经扩散生成蛋白骨架与小分子（右）。

隐空间扩散范式已系统迁移到生物结构科学：分子、蛋白、图的生成。核心迁移逻辑：用自编码器或预训练折叠模型压缩到隐空间，在低维语义空间训练扩散模型——既省算力（10-100×），又能在隐空间做更可控的条件生成。

代表案例

分子 · GeoLDM（Xu 等, ICML 2023, arXiv:2305.01140）

首个用于分子几何的隐空间扩散
用 EGNN 自编码器把 3D 原子结构编码成连续隐码
构造同时含不变标量 + 等变张量的点结构隐空间以保持旋转/平移对称性
相比直接在 3D 坐标上扩散，计算量降低 10-50×

蛋白结构 · LatentDiff（Fu 等, LoG 2023, arXiv:2305.04120）

用等变 3D 自编码器把蛋白骨架压到更紧凑隐空间
在隐空间上放置等变扩散模型
采样效率显著优于直接在坐标空间扩散

蛋白结构 · PLAID（Lu 等, 2024, bioRxiv 2024.12.02.626353）

工程价值亮点：直接在预训练折叠模型 ESMFold 的隐空间里扩散，无需从头训练等变自编码器
全原子生成：隐码解码出序列 + 全原子结构（不仅是骨架）
数据效率：只需序列即可训练，数据量比 PDB 结构数据库大 2-4 个数量级
条件控制：用 CFG 做功能（GO term）+ 物种组合条件，可控性强
湿实验验证：生成的蛋白在实验中表现出预期功能，证明从序列到功能的完整生成管线可行

通用图 · Latent Graph Diffusion（Zhou, Wang, Zhang, NeurIPS 2024, arXiv:2402.02518）

把图嵌入隐空间训练 score 扩散
首个统一「生成 + 回归 + 分类」于一个框架的模型
把预测任务重述为条件生成（cross-attention），统一范式

工程收益

算力节省：相比像素/坐标空间扩散，计算量降低 10-100×
数据效率：PLAID 可用序列训练（数据量远大于结构），突破 PDB 瓶颈
条件控制：隐空间的连续性让条件注入（CFG、cross-attention）更自然
预训练复用：直接用 ESMFold 等已有模型的隐空间，降低训练成本

工程挑战

质量上限受自编码器/折叠模型约束
等变隐空间设计复杂（需要保持物理对称性）
调试难度：两阶段训练，问题定位更复杂

适用边界：上述生物方法多在各自基准上验证；迁移到具体问题需自己核验数据与评测口径，本文不替代对原始论文方法与限制的阅读，也不下具体科研结论。闭源模型（FLUX/Midjourney）无一手架构证据，相关表述按不确定处理。

参考资料

通用 / 图像主线

LDM / Stable Diffusion — High-Resolution Image Synthesis with Latent Diffusion Models. Rombach 等, CVPR 2022. arXiv:2112.10752
VQGAN — Taming Transformers for High-Resolution Image Synthesis. Esser, Rombach, Ommer, CVPR 2021. arXiv:2012.09841
VQGAN-LC — Scaling the Codebook Size of VQGAN to 100,000 with a Utilization Rate of 99%. NeurIPS 2024. arXiv:2406.11837
VAE posterior collapse — The Usual Suspects? Reassessing Blame for VAE Posterior Collapse. Dai, Wang, Wipf, ICML 2020. arXiv:1912.10702
FSQ — Finite Scalar Quantization. arXiv:2309.15505 ｜ SimVQ. arXiv:2411.02038
DiT — Scalable Diffusion Models with Transformers. Peebles & Xie, ICCV 2023. arXiv:2212.09748
SD3 — Scaling Rectified Flow Transformers for High-Resolution Image Synthesis. Esser 等, ICML 2024. arXiv:2403.03206
SDXL — Improving Latent Diffusion Models for High-Resolution Image Synthesis. Podell 等, 2023. arXiv:2307.01952
CFG — Classifier-Free Diffusion Guidance. Ho & Salimans, 2022. arXiv:2207.12598
ControlNet — Adding Conditional Control to Text-to-Image Diffusion Models. Zhang 等, ICCV 2023. arXiv:2302.05543
T2I-Adapter. Mou 等, 2023. arXiv:2302.08453 ｜ IP-Adapter. Ye 等, 2023. arXiv:2308.06721
DDIM. Song 等, ICLR 2021. arXiv:2010.02502
DPM-Solver. Lu 等, NeurIPS 2022. arXiv:2206.00927 ｜ DPM-Solver++. arXiv:2211.01095
v-prediction / Progressive Distillation. Salimans & Ho, 2022. arXiv:2202.00512
Improved DDPM（cosine 调度）. Nichol & Dhariwal, ICML 2021. arXiv:2102.09672
Consistency Models. Song 等, ICML 2023. arXiv:2303.01469 ｜ LCM. Luo 等, 2023. arXiv:2310.04378
Rectified Flow. Liu 等, ICLR 2023. arXiv:2209.03003 ｜ Flow Matching. Lipman 等. arXiv:2210.02747
Imagen. Saharia 等, 2022. arXiv:2205.11487 ｜ DALL·E 2 / unCLIP. Ramesh 等. arXiv:2204.06125

生物 / 科学

GeoLDM — Geometric Latent Diffusion Models for 3D Molecule Generation. Xu 等, ICML 2023. arXiv:2305.01140
LatentDiff — A Latent Diffusion Model for Protein Structure Generation. Fu 等, LoG 2023. arXiv:2305.04120
PLAID — All-Atom Protein Generation with Latent Diffusion. Lu 等, 2024. bioRxiv 2024.12.02.626353
Latent Graph Diffusion — Unifying Generation and Prediction on Graphs with Latent Graph Diffusion. Zhou, Wang, Zhang, NeurIPS 2024. arXiv:2402.02518
E(n)-EDM — Equivariant Diffusion for Molecule Generation in 3D. Hoogeboom 等, ICML 2022. arXiv:2203.17003 ｜ EDM（Karras，设计空间）. arXiv:2206.00364

延伸：回到扩散模型导航看全家族地图与选型；DDPM 三式与排障坐标系见教程第 3 章。部分代际细节（SD1.x/2.x）与少数编号为领域常识梳理，正式引用请以链接的原始论文为准。