系列：AI 论文精读与复现训练营
日期：2026-08-12
适合读者：研究生、机制可解释性入门研究者、有工程背景的 AI 读者
检索日期：2026-08-12
摘要
Interpretability，尤其是 mechanistic interpretability，已经从“给模型输出配一张热力图”逐渐变成一套围绕内部表示、因果干预和可复现实验组织起来的研究方法。读这条线不能只问“这个神经元是什么意思”，而要问：模型内部有哪些表征单元？这些单元是否稳定？它们是否真的参与了输出？如果我 patch、ablate 或 steer 它，模型行为是否按机制假设变化？
这篇文章给出一条适合科研训练的论文精读路线：先读 representation 和 probing，理解“信息是否可读出”；再读 circuits，理解“组件如何组合成算法”；然后读 sparse features / SAE，理解“为什么单个神经元不够、为什么特征也会失效”；最后读 causal intervention、circuit tracing、Jacobian Lens 和 Natural Language Autoencoders，训练自己把解释从相关性证据推进到机制证据。
为什么这个主题重要
大模型越强，外部行为越容易被提示词、评测集和采样设置掩盖。一个模型答对了数学题，不等于它真的按可追踪的中间步骤推理；一个模型拒绝有害请求，不等于内部没有先识别、计划或压制某些内容；一个 SAE feature 看起来有清晰语义，也不等于它是模型实际使用的唯一因果变量。
2024 到 2026 年的进展让这个方向变得更具体。OpenAI 发布了 GPT-4 表征的超大规模 sparse autoencoder 研究；Anthropic 从 Claude 3 Sonnet 的 monosemantic features 推进到 2025 年的 attribution graph / circuit tracing，再到 2026 年的 Jacobian Lens、J-space 和 Natural Language Autoencoders；Google DeepMind 的 Gemma Scope 与 Gemma Scope 2 把开放模型上的 SAE、transcoder 和交互式分析资源推给社区。与此同时，NeurIPS 2025 的 SAEBench、feature absorption、feature explanation falsification 等工作也提醒我们：解释工具本身也需要 benchmark、反例和可证伪评价。
因此，interpretability 论文的读法要比普通方法论文更苛刻。它不是“提出一个指标，跑几个模型”，而是试图回答“模型内部到底发生了什么”。这类结论如果没有 intervention、negative control、跨 prompt 复现和工具失效分析，很容易停留在漂亮可视化。
核心阅读方法
读 interpretability 论文时，建议把每篇文章拆成五个问题。
第一，解释对象是什么？是 token embedding、residual stream、attention head、MLP neuron、SAE latent、transcoder feature，还是 Jacobian lens 读出的 verbalizable representation？对象不同，证据含义完全不同。一个 probe 读出语法信息，只说明表示中含有可线性提取的信息；一个 ablation 改变输出，才开始接近“这部分计算被模型使用”。
第二，解释目标是什么？论文是在解释特定行为、特定数据分布、某一类能力、某个安全相关倾向，还是模型的一般表征空间？解释 induction head 与解释 Claude 的 evaluation awareness 不是同一层任务，不能用同一种证据标准。
第三，证据是相关性、可预测性，还是因果性？可视化激活最高样本是相关性；linear probe 是可读出性；activation patching、path patching、ablation、feature steering、model editing 才是更强的因果证据。最好的论文通常会把这些证据串起来，而不是只展示一个漂亮案例。
第四，解释工具有没有自我校验？SAE 要检查 reconstruction loss、sparsity、feature consistency、dead features、feature splitting、absorption 和解释可证伪性；circuit tracing 要检查 replacement model 近似误差；probe 要控制 probe 容量；Jacobian Lens 要记住它是平均线性化工具，不是完整读取模型全部思维。
第五，复现边界在哪里？机制可解释性很适合小模型训练，但很容易在工程上失控。研究生更适合从 GPT-2 small、Pythia、Gemma 小模型、公开 SAE、TransformerLens、NNsight、Neuronpedia 和 circuit-tracer 之类工具开始，先复现一个小行为，再扩展到一个稳定问题。
代表论文路线图
1. Representation 与 probing：先学会区分“可读出”和“被使用”
入门可以从 probing literature 开始。Belinkov 的综述很适合建立基本警觉：训练一个分类器从 hidden states 预测语言属性，不能直接证明模型在下游任务中使用了这个属性。probe 太强会自己学任务，probe 太弱又可能漏掉真实信息。
这一阶段要掌握三个动作：选层、选位置、选 probe 容量。读论文时不要只看 probe accuracy，而要看 control task、selectivity、minimum description length、跨模型比较和干预验证。一个好的 probing 实验应该能告诉你“哪一层、哪个位置、用多复杂的读出器，可以提取什么信息”，但它通常还不能告诉你“这个信息是否驱动输出”。
把 probing 读扎实之后，再读 logit lens、tuned lens 和 Jacobian Lens 会更清楚。它们本质上都在问：中间层表示能否被映射到人类可读的词表或语义空间。2026 年的 J-space 工作重要之处不只是提出一个 lens，而是把“可 verbalize 的表示”与 report、modulation、internal reasoning、flexible generalization、selectivity 等功能性质联系起来，并通过 intervention 检查这些表示是否真的影响行为。
2. Circuits：从组件到算法
Transformer Circuits 线适合训练“把网络当程序拆”的能力。2021 年的 Mathematical Framework for Transformer Circuits 把 attention head 拆成 QK circuit 和 OV circuit，并用 path expansion 理解 attention-only transformer。2022 年的 induction heads 进一步把 in-context learning 的一部分现象拆成可定位的 attention head 组合：某些 head 会寻找上下文中曾出现过的模式，并复制后续 token。
读 circuits 论文时，重点不是背术语，而是学它的证据链：先定义一个行为，比如 repeated token / indirect object identification / factual recall；再定位相关 head、MLP 或 feature；然后用 activation patching、path patching 或 ablation 证明这些组件对输出有因果贡献；最后检查这个机制是否跨 prompt、跨模型或跨训练阶段稳定。
2025 年的 circuit tracing 把这个路线进一步规模化。它不再只盯着几个 attention head，而是用 cross-layer transcoder 构造更可解释的 replacement model，再把 prompt 上的计算展开成 attribution graph。阅读时要注意一个关键限制：replacement model 是近似模型，它让机制图可读，但也引入近似误差。复现时必须记录原模型与替代模型的输出差异。
3. Sparse features 与 SAE：从“神经元语义”到“特征空间”
单个神经元往往 polysemantic：同一个 neuron 可能参与多种概念，单个概念也可能分布在多个 neuron 上。Anthropic 的 dictionary learning / monosemanticity 工作、OpenAI 的 GPT-4 concept extraction、DeepMind 的 Gated SAE 和 Gemma Scope，都围绕一个核心假设展开：模型内部可能用稀疏特征表示许多概念，SAE 可以把 dense activation 分解到更可解释的 latent features。
这条线的阅读顺序可以是：先读 toy model of superposition，理解为什么“特征多于维度”会导致重叠表示；再读 Towards Monosemanticity，理解 dictionary learning 如何在小模型中找到可解释 features；再读 Scaling Monosemanticity 和 Extracting Concepts from GPT-4，理解规模化 SAE 的训练和限制；最后读 Gemma Scope / Gemma Scope 2，学习开放模型上的工具化资源。
但 SAE 不是解释性的银弹。2025 年的 SAEBench 提醒我们，重构误差和稀疏度这类 proxy metric 未必等价于实际 interpretability utility；feature absorption 工作说明层级概念会让看似单义的 feature 在该激活时不激活，被子特征吸收；feature explanation falsification 进一步说明自动生成的 feature 解释需要 close negative examples 来证伪。读 SAE 论文时，必须同时读“成功论文”和“失败/评测论文”。
4. Causal intervention：解释必须能被打断、替换和反事实验证
机制可解释性最重要的训练动作是 intervention。ROME 的 causal tracing 是经典例子：先通过 corruption + restoration 找到 factual association 对输出最关键的中间状态，再用 rank-one model editing 修改特定事实。它说明“定位”和“编辑”可以互相校验：如果你说某个 MLP 中层存储事实，就应该能通过有约束的编辑改变这个事实，并保持 specificity 与 generalization。
在 LLM 复现里，最常见的 intervention 包括四类：activation patching，把 clean run 的某个 activation 放到 corrupted run；ablation，把某个 head、feature 或方向置零；steering，沿某个方向增强或抑制概念；path patching，只替换从某组件到某下游组件的路径。每一种都要设计 negative control：随机层、随机 feature、无关 prompt、同义改写和反向干预。
2025-2026 年的新工作把 intervention 用在更抽象的对象上。Circuit tracing 可以对 attribution graph 的 feature 做 intervention；J-space 工作可以在 verbalizable representation 上做 patch 或 ablation；Natural Language Autoencoders 则尝试把 activation 经过自然语言瓶颈再重构，让内部状态以文本解释形式可读。它们都值得读，但都要保持谨慎：越接近“读出模型思想”的工具，越需要严肃区分工具输出、模型输出和真实因果机制。
方法与实验对比表
| 方法线 | 代表工作 | 主要回答 | 最该检查的证据 |
|---|---|---|---|
| Probing | probing classifiers, probing as inductive bias | 表示中是否含某类信息 | probe 容量、control task、跨层趋势、是否有干预 |
| Transformer circuits | Mathematical Framework, Induction Heads | 组件如何组合成算法 | head/MLP 定位、path patching、跨 prompt 稳定性 |
| SAE / sparse features | Monosemanticity, GPT-4 SAE, Gemma Scope | dense activation 如何分解为 feature | reconstruction、sparsity、feature consistency、反例 |
| SAE evaluation | SAEBench, feature absorption, explanation falsification | 解释工具何时失效 | proxy metric 是否有效、close negative、层级概念 |
| Causal tracing/editing | ROME, activation patching | 哪些状态因果影响输出 | corruption-restoration、specificity、generalization |
| Circuit tracing / CLT | Attribution graphs, circuit-tracer | prompt 级计算图如何展开 | replacement model 误差、边权验证、intervention |
| Lens / workspace | Jacobian Lens, J-space | 中间表示能否 verbalize 并参与推理 | lens 假设、层位置、patch/ablation、任务边界 |
| Natural language bottleneck | Natural Language Autoencoders | activation 能否翻译成文本解释 | 重构质量、解释忠实性、是否过度人类化 |
复现建议
第一阶段，复现一个小行为。推荐从 GPT-2 small 或 Pythia 小模型开始，用 TransformerLens 缓存 residual stream、attention pattern 和 logits。任务可以选 repeated token、induction head、IOI 或 factual recall。目标不是做新 SOTA，而是写清楚 clean prompt、corrupted prompt、目标 token、patch 位置和 logit difference。
第二阶段，复现一个 SAE feature。可以使用 Neuronpedia、Gemma Scope 或公开 SAE 权重，选一个语义相对清晰的 feature，收集 top activating examples、near misses 和 close negatives。不要只展示正例；要记录 feature 不该激活但激活、该激活但没激活的样本。
第三阶段，复现一次 intervention。对某个 head、MLP activation、SAE feature 或 residual direction 做 ablation / steering，比较 logits、生成文本和任务正确率。每次 intervention 至少配三个对照：随机同层位置、无关 feature、同义 prompt。
第四阶段，写 reproduction report。报告中至少包含：模型名和版本、代码库 commit、数据样本、prompt 模板、随机种子、hook 点、指标定义、所有失败样例、人工解释规则和待人工核验项。Interpretability 的复现报告尤其要写“我不能证明什么”，否则很容易把可视化误读成机制。
常见误区
第一，把 attention map 当解释。attention 权重可以提供线索，但不等于因果贡献。至少要配合 value 路径、logit attribution 或 patching。
第二，把 probe accuracy 当机制。probe 能读出信息，不代表模型用这个信息完成任务。
第三，把 SAE feature 名称当事实。很多 feature 解释来自 top activating examples 或自动命名，必须用 negative examples、跨 seed 一致性和 intervention 检查。
第四，只复现成功 prompt。机制解释最怕 cherry-picking。应该主动构造同义、反义、无关、边界和分布外 prompt。
第五，过度拟人化。J-space、workspace、thoughts、Natural Language Autoencoders 等词很容易让读者以为模型具有完整人类式思维。写论文笔记时要把这些术语还原成工具定义和实验操作，不要把哲学解释当实验证据。
适合研究生继续做的选题
- SAE feature 解释的 close negative 数据集：为一组公开 feature 系统构造“看起来相似但不应激活”的反例，评估自动解释质量。
- 小模型 circuit 复现基准：把 induction head、IOI、factual recall、refusal toy task 做成统一 patching notebook。
- Probe 到 intervention 的证据升级：选择一个 linguistic 或 reasoning 属性，比较 probe、ablation、steering 三类证据是否一致。
- Gemma Scope / Neuronpedia feature 稳定性研究：比较不同层、不同 SAE 架构、不同 seed 的 feature 一致性与解释质量。
- Jacobian Lens 与 logit lens 对比复现：在开放模型上比较两种 lens 对中间层内容的可读性和因果定位能力。
总结
Interpretability 论文的阅读核心可以概括为一句话：先找可读表示，再证明因果作用，最后承认工具边界。Representation 和 probing 训练我们不要把“可读出”误认为“被使用”；circuits 训练我们把组件组合成算法；SAE 训练我们从神经元升级到特征空间，同时警惕特征分裂、吸收和解释幻觉；causal intervention 训练我们用 patch、ablation、steering 和 editing 检查机制假设。
对研究生来说，这个方向最好的入门方式不是直接解释最大模型，而是在小模型上复现一个可控机制，把每一步实验日志写清楚。真正有价值的解释不是漂亮图，而是能被反事实打断、能跨 prompt 复现、能说明自己何时失效的证据链。
参考资料
检索日期：2026-08-12。以下优先列出论文、官方项目页、会议页面和一手资料；模型版本、工具 API、开源权重、交互式平台内容和 benchmark 结果可能变化，复现前请再次核对。
- Elhage et al., “A Mathematical Framework for Transformer Circuits”, Transformer Circuits Thread, 2021. https://transformer-circuits.pub/2021/framework/index.html
- Olsson et al., “In-context Learning and Induction Heads”, Transformer Circuits Thread, 2022. https://transformer-circuits.pub/2022/in-context-learning-and-induction-heads/
- Belinkov, “Probing Classifiers: Promises, Shortcomings, and Advances”, Computational Linguistics, 2022. https://aclanthology.org/2022.cl-1.7/
- Meng et al., “Locating and Editing Factual Associations in GPT”, NeurIPS 2022 / ROME project page. https://rome.baulab.info/
- Bricken et al., “Towards Monosemanticity: Decomposing Language Models With Dictionary Learning”, Transformer Circuits / Anthropic, 2023. https://www.anthropic.com/research/towards-monosemanticity-decomposing-language-models-with-dictionary-learning
- Templeton et al., “Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet”, Anthropic, 2024. https://www.anthropic.com/research/mapping-mind-language-model
- Wu et al., “Extracting Concepts from GPT-4”, OpenAI, 2024. https://openai.com/index/extracting-concepts-from-gpt-4/
- Rajamanoharan et al., “Improving Dictionary Learning with Gated Sparse Autoencoders”, Google DeepMind / arXiv, 2024. https://deepmind.google/research/publications/88147/
- Lieberum et al., “Gemma Scope: Open Sparse Autoencoders Everywhere All At Once on Gemma 2”, 2024. https://deepmind.google/models/gemma/gemma-scope/
- Google DeepMind, “Gemma Scope 2: helping the AI safety community deepen understanding of complex language model behavior”, 2025. https://deepmind.google/blog/gemma-scope-2-helping-the-ai-safety-community-deepen-understanding-of-complex-language-model-behavior/
- Ameisen et al., “Circuit Tracing: Revealing Computational Graphs in Language Models”, Transformer Circuits Thread, 2025. https://transformer-circuits.pub/2025/attribution-graphs/methods.html
- Marks et al., “Sparse Feature Circuits: Discovering and Editing Interpretable Causal Graphs in Language Models”, ICLR 2025. https://proceedings.iclr.cc/paper_files/paper/2025/hash/3ba4d47a83e498c2b1a0868cba20f6de-Abstract-Conference.html
- Karvonen et al., “SAEBench: A Comprehensive Benchmark for Sparse Autoencoders in Language Model Interpretability”, arXiv, 2025. https://arxiv.org/abs/2503.09532
- Chanin et al., “A is for Absorption: Studying Feature Splitting and Absorption in Sparse Autoencoders”, NeurIPS 2025. https://proceedings.neurips.cc/paper_files/paper/2025/hash/764ff7477b8e24dbe01531f6791e8bdf-Abstract-Conference.html
- Ma et al., “Revising and Falsifying Sparse Autoencoder Feature Explanations”, NeurIPS 2025. https://proceedings.neurips.cc/paper_files/paper/2025/hash/5b6ce2529a79862a2d8ac57ac0e01d90-Abstract-Conference.html
- Gurnee et al., “Verbalizable Representations Form a Global Workspace in Language Models”, Transformer Circuits Thread, 2026. https://transformer-circuits.pub/2026/workspace/
- Anthropic, “A global workspace in language models”, 2026. https://www.anthropic.com/research/global-workspace
- Lindsey et al., “Natural Language Autoencoders Produce Unsupervised Explanations of LLM Activations”, Transformer Circuits Thread, 2026. https://transformer-circuits.pub/2026/nla/index.html
- TransformerLens official repository. https://github.com/TransformerLensOrg/TransformerLens
- NNsight official documentation. https://nnsight.net/index.html
- Neuronpedia official platform and documentation. https://www.neuronpedia.org/
- Anthropic circuit-tracer package. https://pypi.org/project/circuit-tracer/