系列文章 · 30 篇
AI 论文复现实验
从 Transformer 到检索、训练与可解释性，用小实验连接公式和代码。
合计约 246 分钟最近更新 2026.09.23
建议从开篇开始，按下面的顺序阅读。
从开篇开始阅读 →阅读目录
- 复现一个 Transformer Encoder：从论文公式到最小 PyTorch · 约 11 分钟
- Attention 可视化：热力图与解释边界 · 约 9 分钟
- LoRA / QLoRA：低秩更新、量化和显存预算 · 约 10 分钟
- DPO：数据格式、Loss 和“Reward-free”训练 · 约 10 分钟
- RAG Baseline：BM25、Embedding、Rerank 与引用评测 · 约 10 分钟
- Dense Retrieval：DPR / Contriever 双塔检索最小复现 · 约 9 分钟
- Reranker：Cross-Encoder 与 Hard Negative 最小复现 · 约 10 分钟
- Self-Consistency：采样、投票和成本—准确率 · 约 9 分钟
- Tool Calling Agent：ReAct、工具错误和可验证执行 · 约 8 分钟
- LLM-as-a-Judge：偏差、Rubric 和一致性 · 约 9 分钟
- Long Context 位置敏感性：复现 Lost-in-the-Middle · 约 9 分钟
- Prompt Injection 防御：隔离不可信上下文的最小复现 · 约 8 分钟
- 数据去重与污染检测：从 n-gram 到语义候选的最小复现 · 约 7 分钟
- 合成数据过滤：质量分类器、多样性与有效难例的最小复现 · 约 7 分钟
- 蒸馏：从教师软概率到 response 监督的最小复现 · 约 8 分钟
- 小模型指令微调：数据混合、模板与过拟合的最小复现 · 约 7 分钟
- 量化推理：INT8/INT4 的体积、困惑度与速度为什么不同步 · 约 8 分钟
- KV Cache 与推测解码：先验证输出，再讨论加速 · 约 8 分钟
- MoE 路由可视化：负载均衡损失为何不能证明专家健康 · 约 8 分钟
- CLIP 图文对齐：先核对正样本，再相信检索分数 · 约 7 分钟
- VLM 读图评测：先审计评分器，再判断读错还是算错 · 约 7 分钟
- Embodied Agent 小环境：用状态日志解释成功、绕路与超时 · 约 7 分钟
- World Model 最小实验：单步预测准确，为什么 rollout 仍会漂移？ · 约 7 分钟
- GNN + LLM：找对答案节点，为什么仍然缺少推理证据？ · 约 7 分钟
- Activation Patching：恢复答案之后，能否说找到了机制？ · 约 8 分钟
- Probing：线性探针读到了什么，模型就用到了什么吗？ · 约 7 分钟
- Calibration：ECE 降低后，拒答阈值就可靠吗？ · 约 8 分钟
- Adversarial Robustness：攻击没成功，模型就鲁棒吗？ · 约 8 分钟
- 论文结果报告模板：让每个数字都能回到实验日志 · 约 8 分钟
- 月度总结：把复现实验沉淀成可重放的个人研究代码库 · 约 7 分钟
以上为目前已收录的文章。