系列文章 · 30 篇
从最小复现到可检验的问题
跟随检索、微调和模型干预案例，学习对照、诊断与结果报告。
合计约 238 分钟最近更新 2026.10.27
建议从开篇开始，按下面的顺序阅读。
从开篇开始阅读 →阅读目录
- 从 toy 到 SciFact：搭建第一个可审计的真实检索实验（开发集基线） · 约 8 分钟
- Embedding 真比 BM25 好吗？从逐查询差值找答案（SciFact 开发集） · 约 9 分钟
- 混合检索为什么有效：RRF 改变了哪些排名？——SciFact 开发集冻结排名实验 · 约 8 分钟
- Reranker 的上限在哪里：召回失败还是排序失败？——SciFact 100 条开发查询实验 · 约 8 分钟
- 标题、摘要与截断：预处理能改变方法排名吗？——SciFact 100 条开发查询实验 · 约 8 分钟
- 换个领域还有效吗？一次冻结配置的迁移评测——SciFact 到 NFCorpus · 约 8 分钟
- 微调前先测什么：给小模型建立能力与格式基线——SST-2 的 64 条开发样本 · 约 8 分钟
- Loss 到底算在谁身上：检查 SFT 的模板与标签掩码——8 条真实样本、每组 4 步更新 · 约 8 分钟
- 更多样本还是更多 token：一次公平的数据规模实验——32 条训练池、64 条开发样本 · 约 8 分钟
- 数据混合的代价：学会新任务，会忘掉旧能力吗？——96 条开发样本的低基线实验 · 约 9 分钟
- 模板换一下还会吗：区分格式适配与任务泛化——96 条开发样本的探索实验 · 约 8 分钟
- 一次微调提升可信吗：多种子与配对结果报告——32 条训练样本、96 条开发样本 · 约 8 分钟
- 官方评测器也有协议：逐项读懂一个 task 配置——SST-2 的64条开发样本 · 约 8 分钟
- Few-shot 为什么有时更差：示例选择和顺序实验 · 约 8 分钟
- 答案选 A 还是选文本：选项顺序与概率计分——64条开发样本的受控实验 · 约 8 分钟
- 答案抽取错了多少：给自动评分器建立人工小金标——64 条真实输出与人工审核的证据边界 · 约 8 分钟
- 两个模型差一点点：配对区间比排行榜更有用吗？——两个检查点与64条开发样本 · 约 7 分钟
- 做了十种设置才找到提升：如何处理选择偏差？——64条开发与128条确认样本 · 约 8 分钟
- 从玩具网络走向 GPT-2：建立 IOI 行为基线——64 条受控合成样本 · 约 8 分钟
- 激活替换恢复了什么：真实注意力头的定位实验——16 对 GPT-2 受控样本 · 约 7 分钟
- 换一种破坏方式，关键组件还相同吗？——16 条 GPT-2 样本的双重反事实 · 约 8 分钟
- 删掉几个头就算找到电路吗：消融基线与补偿——16 条 GPT-2 样本的末位干预 · 约 8 分钟
- 换名字、换句式之后：电路证据能否迁移？——256 条 GPT-2 受控样本 · 约 7 分钟
- 一张电路图有多可信：忠实性、完整性与剩余误差——256 条 GPT-2 样本的局部检验 · 约 7 分钟
- 从失败样本到研究问题：怎样避免事后编故事？——100 条 SciFact 开发查询的诊断 · 约 7 分钟
- 为直觉找反例：设计最小的区分性实验——4 条 SciFact 查询的证据移位探针 · 约 8 分钟
- 改进先过强基线：它只是多用了数据或计算吗？——100 条 SciFact 开发查询的等预算对照 · 约 8 分钟
- 哪个模块真正有效：消融与交互效应——4 条 SciFact 探针的诊断实验 · 约 8 分钟
- 局部增益之后，实验还告诉了我们什么？——100 条 SciFact 开发查询的区间与失败边界 · 约 8 分钟
- 从实验包到短论文：写出一份可审查的研究报告——300 条 SciFact 查询的冻结确认评测 · 约 9 分钟
以上为目前已收录的文章。