Transformer 第3章：生物序列与多组学建模

Transformer系列

1. 总览
2. 第1章
3. 第2章
4. 第3章

第 1 章讲注意力结构，第 2 章讲训练与推理。本章只讨论生物问题真正需要做的建模决定：状态怎样表示、上下文要多长、信号是否跨长距离、标签和测试划分是否足够可信。

1. 先定义任务，再决定是否需要 Transformer

生物序列建模的决策顺序

先写清四件事：输入是什么；输出是分类、回归、序列生成还是表示学习；决定输出的信号大概跨多远；什么测试实体必须与训练数据隔离。模型应该在这四个答案之后选择。

如果局部 motif 已经能解释大部分信号，PWM、k-mer 模型、CNN 或 GBDT 是有价值的基线。Transformer 的优势主要来自上下文建模、预训练迁移和条件交互，而不是“模型更大”。

2. DNA tokenization：没有统一默认

常见路线至少有三类：

方式	代表	优点	主要代价
单核苷酸	Evo / Evo 2 等长序列模型	保留单碱基分辨率，不引入人工词边界	token 序列最长
固定 k-mer	Nucleotide Transformer 使用 6-mer	序列压缩比例固定，映射关系清楚	词表扩大，token 边界固定
BPE/子词	DNABERT-2	自适应片段长度、减少 token 数	一个 embedding 对应的碱基数不固定

Nucleotide Transformer 的正式论文明确使用 6-mer tokenization，而不是 BPE；论文还指出 BPE 会让每个 embedding 对应的核苷酸数可变。DNABERT-2 则明确以 BPE 替换传统 k-mer。

因此不要写“DNA 默认 BPE（DNABERT-2 / NT）”。如果直接复用 checkpoint，首先服从它自己的 tokenizer；如果从头建模，再根据单点变异分辨率、上下文长度和任务头选择粒度。

参考：Nucleotide Transformer；DNABERT-2。

3. 长上下文：长度不是能力本身

标准 self-attention 的时间/显存成本随序列长度快速增长，因此长基因组建模出现了稀疏注意力、长卷积、state-space/Hyena 以及混合架构。

Evo 2 是一个很好的边界案例：它具有 1 million token 上下文和单核苷酸分辨率，但并不是纯 Transformer。Nature 论文描述的 StripedHyena 2 使用多种输入依赖卷积操作，并结合 attention，以提高超长序列吞吐。这说明当上下文扩展到基因组尺度时，“是不是 Transformer”往往不如“怎样以可接受成本建模长程关系”重要。

长上下文也不等于模型真的利用了远距离生物关系。应通过距离分层 benchmark、扰动实验或专门的 long-context retrieval/variant tasks 验证，而不是只看最大 context window。

4. 蛋白语言模型：序列表示与结构任务要分开

蛋白 LM 通常以氨基酸为 token，预训练目标可以是 MLM、因果建模或多模态结构/序列目标。常见使用层级是：

1. 冻结 embedding + 简单头：低成本基线，适合先判断预训练表示是否有价值；
2. PEFT / 部分微调：数据量中等时适配新任务；
3. 全参数或生成式训练：只有在数据、预算和任务确实需要时再做。

“embedding 懂结构功能”是口语化说法。更严谨的表述是：预训练表示中可以线性或非线性读出部分结构、进化和功能相关信号，其可迁移程度需要在独立任务上验证。

5. 单细胞：基因集合、表达值与批次结构

单细胞表达矩阵没有天然的基因顺序。Geneformer、scGPT 等方法通过不同方式把基因身份、表达水平或表达排名编码成 token 序列/集合表示。

这里最危险的不是 tokenizer，而是 batch、donor、tissue 和实验平台形成的捷径。若随机拆分细胞，同一个供体或批次的信息会同时出现在训练和测试中，模型可能只学会技术差异。

优先使用 donor/batch/study 级留出；跨物种问题则进一步要求 ortholog 映射、基因集合差异和物种特异表达都在协议中显式处理。

6. 序列对、互作与调控

当输入是两条序列或序列 + 远端调控元件时，常见结构有：

架构	特点	适合
双塔 / Siamese	两侧独立编码，可预计算 embedding	大规模检索、候选筛选
cross-encoder	两侧 token 直接交互	精排、细粒度配对
图 + 序列模型	把已有网络关系显式纳入	调控网络、PPI、空间关系

负例构造往往比换 attention 更重要。随机负例可能过于简单；如果真实部署面对近同源、同组织或相同 motif 背景的困难候选，训练和测试也要包含这类 hard negatives。

7. 多组学融合：先保证样本对齐

DNA、甲基化、开放染色质、表达和空间信号可以采用早期拼接、独立 encoder 后融合、cross-attention 或图结构融合。没有一种方式对所有任务占优。

比架构更先要解决的是：不同模态是否来自同一生物实体；时间点/组织/细胞类型是否一致；缺失模态怎样处理；训练/测试是否共享同一批样本。多组学对齐错误会比模型结构造成更大的伪信号。

8. CPT 与域适配

继续预训练（continued pretraining, CPT）是在目标领域继续优化预训练目标，用来让底座适应新的物种、序列分布或实验语料。它与 RL 没有概念上的必然关系。

做林木或植物域适配时，建议至少保留：原域验证集、目标域验证集、下游任务验证集。这样可以同时检查目标域收益与 catastrophic forgetting。若算力有限，可以先比较 frozen embedding、LoRA/adapter 与 CPT，而不是默认从头训练大模型。

9. 评估：划分纪律通常比模型升级更重要

生物序列的相关性结构很强，随机划分经常不够。根据问题选择：

• 染色体留出：调控元件、基因组窗口任务；
• 同源家族/序列相似度分组：蛋白与序列功能预测；
• 物种留出：跨物种迁移；
• 供体/患者/批次留出：单细胞和医学数据；
• 时间或地点留出：生态、群体和长期监测数据。

报告不仅看 AUROC。类别不平衡时应同时看 AUPRC、校准和决策阈值；回归看误差分布；解释性分析必须在独立数据上验证 motif、保守性或已知调控关系，而不是只展示注意力图。

10. 植物与林木项目的实用顺序

1. 先确定问题是局部 motif、长程调控、跨物种迁移还是生成；
2. 建立 CNN/k-mer/传统特征基线；
3. 复用公开 DNA/蛋白底座做 frozen embedding 或轻量微调；
4. 用染色体、物种或同源家族分组做真正独立测试；
5. 只有当现成底座和简单模型无法覆盖目标上下文时，再考虑长序列混合架构或领域 CPT。

对于树木大基因组，“基因组很大”本身不是使用百万上下文的理由。增强子—启动子、大片段结构变异等问题可能需要长程建模；启动子、motif 或局部变异任务往往从较短窗口开始更高效。

参考资料

• Nucleotide Transformer, Nature Methods
• DNABERT-2
• Evo 2, Nature 2026
• ESM-2
• Geneformer
• scGPT