Transformer 学习地图：从注意力到生物序列建模

Transformer 最值得掌握的不是一串模块名称，而是一套处理序列关系的方法：每个位置如何表示、不同位置如何交换信息、模型怎样在长上下文里保留有用信号，以及训练好的表示怎样迁移到具体任务。

对生物信息学来说，这套问题同样存在于 DNA、RNA 和蛋白序列中。motif 是局部的，调控与结构关系却可能跨越很长距离；不同任务对 token、上下文长度和训练目标的要求也完全不同。

三层内容

这一系列分成三章，分别处理结构、工程和生物应用。

章节	核心问题	适合什么时候读
第 1 章 · 基础知识	Token、Embedding、Self-Attention、FFN、残差与三类架构怎样连成一个 Transformer	第一次系统理解 Transformer，或需要补结构基础
第 2 章 · 进阶	预训练目标、位置编码、KV Cache、FlashAttention、LoRA、长上下文和训练稳定性	已经看懂基本 Block，开始读现代模型论文或做微调
第 3 章 · 生物向	DNA、蛋白、单细胞、互作、多组学、CPT 与评估如何落到真实研究问题	想把 Transformer 用到组学或生物序列项目

如果只想解决一个具体问题，不必按章节顺序从头读。例如，已经熟悉注意力机制的人可以直接进入第 2 章；正在设计 DNA 或蛋白模型的人，可以先看第 3 章，再回头补位置编码或长上下文部分。

一张结构地图

flowchart TB
SEQ["序列问题<br/>文本 / DNA / RNA / 蛋白"]

subgraph BASE["结构基础"]
  TOK["Tokenization"]
  EMB["Embedding + 位置"]
  ATT["Self-Attention"]
  FFN["FFN / MLP"]
  ARC["Encoder / Decoder / Enc-Dec"]
end

subgraph MODERN["现代训练与推理"]
  PT["预训练目标"]
  LONG["长上下文"]
  EFF["KV Cache / FlashAttention"]
  PEFT["LoRA / Adapter"]
  STAB["训练稳定性"]
end

subgraph BIO["生物应用"]
  DNA["DNA / 调控"]
  PRO["蛋白序列"]
  CELL["单细胞 / 表达"]
  MULTI["互作 / 多组学"]
end

SEQ --> TOK --> EMB --> ATT --> FFN --> ARC
ARC --> PT --> LONG --> EFF --> PEFT --> STAB
STAB --> DNA
STAB --> PRO
STAB --> CELL
STAB --> MULTI

Transformer 学习地图

先抓住 Transformer 的信息流

一个标准 Block 可以压缩成两步：先让不同位置交换信息，再让每个位置独立做非线性变换。残差连接和归一化负责让深层网络更稳定。

flowchart LR
X["输入 X"] --> QKV["Q / K / V 投影"]
QKV --> SA["Self-Attention"]
SA --> ADD1["残差 + 归一化"]
X --> ADD1
ADD1 --> MLP["FFN / MLP"]
MLP --> ADD2["残差 + 归一化"]
ADD1 --> ADD2
ADD2 --> Y["输出 Y"]

单层 Transformer Block

理解这一层之后，很多现代改进都可以定位到具体位置：RoPE 改的是位置信息，FlashAttention 改的是注意力计算方式，LoRA 改的是参数更新方式，KV Cache 改的是自回归推理中的重复计算。

生物序列里真正需要重新判断的部分

把文本 Transformer 换到生物数据上，并不是简单换一套 token。至少有四个问题需要重新设计：

token 怎么定义：单碱基、k-mer、BPE、氨基酸或表达排序，各自保留的信息不同；
上下文要多长：局部 motif、基因级调控和染色体尺度问题需要的窗口并不一样；
训练目标是什么：MLM、CLM、对比学习和继续预训练对应不同目标；
怎么划分数据：同源序列、家系、物种或 donor 泄露会让测试性能失真。

第 3 章主要处理的就是这些“从通用架构到生物问题”的转换，而不是再介绍一遍 Transformer 模块。

与继续预训练和强化学习的边界

一个容易混淆的点是：Transformer 是模型骨架，CPT 和 RL/偏好优化是训练策略。

继续预训练（CPT）通常仍在原有预测目标上学习新的数据分布；RL 或偏好优化则利用奖励或偏好信号改变输出行为。它们都可以发生在 Transformer 上，但研究问题、数据和评价方式不同。

如果研究重点是林木、组学或生物 foundation model，通常先从第 3 章确定任务和数据划分，再回到第 2 章选择长上下文、PEFT 或 CPT 方案，会比机械地按章节顺序推进更有效。