Zzj’s Digital Garden
技術閱讀與實驗筆記
從模型的置信度到程式裡的一把鎖,沿著一個問題讀完一個系列。

按系列閱讀
論文精讀與復現 10 篇
從摘要、方法和實驗表格入手,練習精讀、復現與選題。
- 如何精讀一篇 AI 論文:從摘要、方法到實驗表格
- 如何判斷一篇論文值不值得讀:問題重要性、方法新意與證據強度
- 如何做 Related Work 地圖:從引用網絡到研究脈絡圖
- 如何拆解一篇方法論文:任務定義、假設、模塊和訓練目標
- 如何讀懂實驗部分:dataset、metric、baseline、ablation 和統計顯著性
- 如何識別論文裡的 benchmark 陷阱:數據洩漏、選擇性報告和不可復現結果
- 如何復現一篇 LLM 論文:環境、數據、權重、seed 和日誌
- 如何寫論文復現筆記:從 Reproduction Report 到博客草稿
- 如何做 Ablation Study:控制變量、負結果和機制解釋
- 如何設計一個小而可靠的 Follow-up Idea:從論文侷限到可執行選題
AI 論文閱讀路線 20 篇
圍繞模型架構、訓練和評測,建立各個方向的閱讀路徑。
- Transformer 論文精讀路線:從 Attention 到現代 LLM 架構
- Scaling Laws 論文精讀路線:參數、數據、算力和 Emergent Behavior
- Instruction Tuning 論文精讀路線:從 Supervised Fine-Tuning 到 Instruction Following
- RLHF / Preference Optimization 論文精讀路線:獎勵模型、DPO、GRPO 與偏好數據
- Retrieval-Augmented Learning 論文精讀路線:從 RAG 到 Memory-Augmented Models
- Reasoning Models 論文精讀路線:CoT、Self-Consistency、Process Supervision 與 Search
- Tool-Using LLM 論文精讀路線:從 ReAct 到可驗證工具調用
- Multimodal LLM 論文精讀路線:視覺編碼器、對齊數據和多模態推理
- Vision-Language-Action 論文精讀路線:從 Embodied Agents 到 Robotics Foundation Models
- AI for Science 論文精讀路線:分子、蛋白、材料與自動實驗
- Interpretability 論文精讀路線:representation、circuits、probing 和 causal intervention
- Safety / Alignment 論文精讀路線:紅隊、拒答、偏好對齊和可控生成
- Evaluation 論文精讀路線:Open-ended Eval、Human Eval、LLM-as-Judge 和 Contamination
- Data-Centric AI 論文精讀路線:數據篩選、去重、合成和質量評估
- Efficient Training 論文精讀路線:LoRA、QLoRA、MoE、Checkpointing 和 Optimizer
- Efficient Inference 論文精讀路線:KV Cache、Speculative Decoding、Quantization 和 Serving
- 開源模型技術報告怎麼讀:模型卡、訓練數據、評測和限制說明
- 頂會論文 Rebuttal 與 Peer Review 怎麼讀:從審稿意見反推研究質量
- 如何從 10 篇論文形成一個研究 Proposal:問題、假設、方法和實驗計劃
- 一個月 AI 論文訓練營總結:如何建立長期科研閱讀系統
AI 論文復現實驗 30 篇
從 Transformer 到檢索、訓練與可解釋性,用小實驗連接公式和代碼。
- 復現一個 Transformer Encoder:從論文公式到最小 PyTorch
- Attention 可視化:熱力圖與解釋邊界
- LoRA / QLoRA:低秩更新、量化和顯存預算
- DPO:數據格式、Loss 和“Reward-free”訓練
- RAG Baseline:BM25、Embedding、Rerank 與引用評測
- Dense Retrieval:DPR / Contriever 雙塔檢索最小復現
- Reranker:Cross-Encoder 與 Hard Negative 最小復現
- Self-Consistency:採樣、投票和成本—準確率
- Tool Calling Agent:ReAct、工具錯誤和可驗證執行
- LLM-as-a-Judge:偏差、Rubric 和一致性
- Long Context 位置敏感性:復現 Lost-in-the-Middle
- Prompt Injection 防禦:隔離不可信上下文的最小復現
- 數據去重與汙染檢測:從 n-gram 到語義候選的最小復現
- 合成數據過濾:質量分類器、多樣性與有效難例的最小復現
- 蒸餾:從教師軟概率到 response 監督的最小復現
- 小模型指令微調:數據混合、模板與過擬合的最小復現
- 量化推理:INT8/INT4 的體積、困惑度與速度為什麼不同步
- KV Cache 與推測解碼:先驗證輸出,再討論加速
- MoE 路由可視化:負載均衡損失為何不能證明專家健康
- CLIP 圖文對齊:先核對正樣本,再相信檢索分數
- VLM 讀圖評測:先審計評分器,再判斷讀錯還是算錯
- Embodied Agent 小環境:用狀態日誌解釋成功、繞路與超時
- World Model 最小實驗:單步預測準確,為什麼 rollout 仍會漂移?
- GNN + LLM:找對答案節點,為什麼仍然缺少推理證據?
- Activation Patching:恢復答案之後,能否說找到了機制?
- Probing:線性探針讀到了什麼,模型就用到了什麼嗎?
- Calibration:ECE 降低後,拒答閾值就可靠嗎?
- Adversarial Robustness:攻擊沒成功,模型就魯棒嗎?
- 論文結果報告模板:讓每個數字都能回到實驗日誌
- 月度總結:把復現實驗沉澱成可重放的個人研究代碼庫
從最小復現到可檢驗的問題 30 篇
跟隨檢索、微調和模型干預案例,學習對照、診斷與結果報告。
- 從 toy 到 SciFact:搭建第一個可審計的真實檢索實驗(開發集基線)
- Embedding 真比 BM25 好嗎?從逐查詢差值找答案(SciFact 開發集)
- 混合檢索為什麼有效:RRF 改變了哪些排名?——SciFact 開發集凍結排名實驗
- Reranker 的上限在哪裡:召回失敗還是排序失敗?——SciFact 100 條開發查詢實驗
- 標題、摘要與截斷:預處理能改變方法排名嗎?——SciFact 100 條開發查詢實驗
- 換個領域還有效嗎?一次凍結配置的遷移評測——SciFact 到 NFCorpus
- 微調前先測什麼:給小模型建立能力與格式基線——SST-2 的 64 條開發樣本
- Loss 到底算在誰身上:檢查 SFT 的模板與標籤掩碼——8 條真實樣本、每組 4 步更新
- 更多樣本還是更多 token:一次公平的數據規模實驗——32 條訓練池、64 條開發樣本
- 數據混合的代價:學會新任務,會忘掉舊能力嗎?——96 條開發樣本的低基線實驗
- 模板換一下還會嗎:區分格式適配與任務泛化——96 條開發樣本的探索實驗
- 一次微調提升可信嗎:多種子與配對結果報告——32 條訓練樣本、96 條開發樣本
- 官方評測器也有協議:逐項讀懂一個 task 配置——SST-2 的64條開發樣本
- Few-shot 為什麼有時更差:示例選擇和順序實驗
- 答案選 A 還是選文本:選項順序與概率計分——64條開發樣本的受控實驗
- 答案抽取錯了多少:給自動評分器建立人工小金標——64 條真實輸出與人工審核的證據邊界
- 兩個模型差一點點:配對區間比排行榜更有用嗎?——兩個檢查點與64條開發樣本
- 做了十種設置才找到提升:如何處理選擇偏差?——64條開發與128條確認樣本
- 從玩具網絡走向 GPT-2:建立 IOI 行為基線——64 條受控合成樣本
- 激活替換恢復了什麼:真實注意力頭的定位實驗——16 對 GPT-2 受控樣本
- 換一種破壞方式,關鍵組件還相同嗎?——16 條 GPT-2 樣本的雙重反事實
- 刪掉幾個頭就算找到電路嗎:消融基線與補償——16 條 GPT-2 樣本的末位干預
- 換名字、換句式之後:電路證據能否遷移?——256 條 GPT-2 受控樣本
- 一張電路圖有多可信:忠實性、完整性與剩餘誤差——256 條 GPT-2 樣本的局部檢驗
- 從失敗樣本到研究問題:怎樣避免事後編故事?——100 條 SciFact 開發查詢的診斷
- 為直覺找反例:設計最小的區分性實驗——4 條 SciFact 查詢的證據移位探針
- 改進先過強基線:它只是多用了數據或計算嗎?——100 條 SciFact 開發查詢的等預算對照
- 哪個模塊真正有效:消融與交互效應——4 條 SciFact 探針的診斷實驗
- 局部增益之後,實驗還告訴了我們什麼?——100 條 SciFact 開發查詢的區間與失敗邊界
- 從實驗包到短論文:寫出一份可審查的研究報告——300 條 SciFact 查詢的凍結確認評測
可信預測實驗室 22 篇
從分類置信度出發,比較校準方法,再看模型能否通過少回答一些來減少錯誤。
- 模型有九成把握,就有九成正確嗎?從256條情感判斷建立置信度基線
- 同一組預測,為什麼會得到不同的校準誤差?
- 準確率不變,概率質量也不變嗎?
- 模型最自信的錯誤,集中在哪些樣本?
- 二分類頭與生成式模型的置信度,能直接比較嗎?
- 一個溫度參數,能修復多少過度自信?
- 校準集只有幾十條時,溫度估計有多不穩定?
- 溫度縮放與保序迴歸:靈活方法一定更好嗎?
- 類別不平衡時,一個全局溫度夠用嗎?
- 校準參數能跨模型、跨模板複用嗎?
- 少回答一些,真的能少犯錯嗎?
- 最大概率、熵和分數差,誰更會挑出錯誤?
- 錯誤只有少數幾個時,拒答收益有多可靠?
- 拒答閾值是怎麼選出來的?一次防洩漏實驗
- 校準更好了,拒答排序就更好嗎?
- 不只給一個答案:實現最小的保形預測集
- 九成覆蓋保證,究竟保證了誰?
- 校準樣本不夠時,預測集為什麼突然變大?
- 總體覆蓋達標,子群體也安全嗎?
- LAC 與 APS:同樣覆蓋率下,集合更小就更好嗎?
- 從短句到長影評,校準還能保持嗎?
- 截斷改變的是答案,還是置信度?
大模型研究爭議 39 篇
對照不同論文的實驗條件,區分觀察結果、競爭解釋與證據邊界。
- 推理強化學習:新能力,還是更容易採到正確答案?
- 思維鏈是否忠實:寫出的理由就是作答原因嗎?
- 更長的推理一定更好嗎:過度思考與提前停止的證據
- 過程獎勵與結果獎勵:監督中間步驟究竟改善了什麼?
- SFT與強化學習為什麼會表現不同:記憶、探索與分佈外泛化
- 合成數據能否持續帶來收益:質量、覆蓋度與分佈退化
- 蒸餾推理過程,傳遞的是能力還是表達習慣?
- 獎勵升高,能力就增強了嗎:從獎勵投機到獨立驗證
- 偏好優化學到了什麼:有用性、風格偏好與迎合行為
- 模型能自己教自己嗎:自我改進何時依賴外部反饋?
- 檢索證據與模型記憶衝突時,應該相信誰?
- 長上下文等於長期記憶嗎:讀取、保持與更新是三種能力
- 檢索還是參數記憶:知識放在哪裡才更容易糾錯?
- 持續學習與外部記憶:減少遺忘是否意味著真正學會?
- 圖結構帶來的提升:來自關係建模,還是更多信息和計算?
- 多智能體協作:收益來自分工,還是更多計算預算?
- 自我反思真的能糾錯嗎:重寫答案與獲得反饋有何區別?
- 智能體在規劃,還是在搜索:成功軌跡能證明什麼?
- 工具學習能遷移嗎:學會調用模式還是理解工具語義?
- 長期記憶讓智能體更可靠,還是讓錯誤持續累積?
- 世界模型學到了什麼:視頻預測與因果理解的距離
- 視覺推理是在看圖,還是依賴語言先驗猜答案?
- 多模態思維鏈更可信嗎:解釋中的視覺依據如何驗證?
- 從看視頻到執行動作:觀察學習究竟缺少什麼?
- 仿真中的成功能遷移到現實嗎:評測分佈與失敗成本
- Lean 驗證通過,能說明模型理解了證明嗎?
- 兩個榜單選出不同贏家,究竟是哪一步改變了排名?
- Scaling Law 能預測多遠?先把最大的訓練留出來
- 科研智能體發現了什麼?從一篇過審稿到一個能驗算的點集
- 哪些爭議值得親手驗證?從二十九篇深讀裡選出三個問題
- 用 AI 寫完了作業,關掉它,你還會做嗎?
- 你真能一眼認出 AI 寫的文章嗎?
- AI 搜索給了出處,這句話就有依據嗎?
- 全班都找 AI 想點子,為什麼好故事也會撞車?
- 和朋友吵了一架,換他去問 AI,它會站在哪一邊?
- AI 幫我潤色了生日卡,媽媽還讀得出是我寫的嗎?
- 我只換了個問法,AI 怎麼讓我走另一扇門?
- AI 摘要說週六去認樹,怎麼沒說下雨去哪兒?
- 翻譯得這麼順,原話裡的“不一定”還在嗎?
AI 前沿觀察 27 篇
跟進公開的新進展,檢查主張、已知證據和仍未解決的問題。
- 32 分鐘不是完成科研:多智能體讀腦圖譜,突破在哪裡?
- AI 監控覆蓋了多少?METR 對歷史系統的紅隊測試揭示了什麼
- Claude 為軟件寫出形式證明:公開的 60 個入口究竟保證了什麼?
- 推理路徑該留下哪些?PKTP 把“至少答對一次”變成剪枝目標
- 微調成果怎樣換一個模型?Ariadne 探索不同尺寸 Transformer 之間的遷移
- OpenAI 宣稱推翻指數時間假設:公開證明與獨立審查走到哪一步?
- 讓機器人直接學控制:LECO 的跟蹤進展,為什麼仍要看傳統兜底?
- 測過多少種語言,才算多語言能力?一項評測審計與尚待核清的比例
- 教師何時接手推理?ATI-OPD 探索長序列蒸餾中的局部干預
- 智能體該向哪段經驗學習?Routed CL 在混合任務中探索記憶分流
- 預訓練前先上“合成課”划算嗎?一項等算力研究重新檢查收益
- 不先翻譯成文字,模型能傳得更好嗎?Latent-Lens 的視覺通信實驗
- 預訓練領先,微調後仍領先嗎?Muon 與 AdamW 的數據規模反轉
- Hy4 加入視覺與電腦操作:正式發佈之後,哪些證據還要等?
- 把大模型壓小,哪種方案該留下?CompressionBench 記錄了 17 次排序反轉
- Anthropic 的能力指標增速升至過去的 1.9 倍,多少能歸因於 AI?
- 字面朝上,真機拼字仍有一半失敗:ToyBlocks 怎樣追查機械臂的失手?
- 從 GPU 遷到 TPU,實驗還算數嗎?XStack 如何驗收 20 個科研代碼庫
- 旁人插話時,語音助手還能接著講嗎?讀 MOSS-Live 的雙工評測
- 用戶把紅色改成藏藍,檢索還能記住連帽嗎?TRIAD 的多輪對照實驗
- 拿走看圖工具,智能體還認得路面的坑嗎?MKA 的兩組對照
- 機械手拉拉鏈,觸覺該怎麼用?讀懂 LingBot-Touch 的 59 分
- 語言模型快要陷入重複時,警報能早多少?PREWARN 的三模型對照
- 同一模型估算 30 次,為什麼誤差降幅的中位數只有 1.7%?
- 正確辦法寫進了答案,為什麼還沒幫到點上?讀 XYBench 的編程問答實驗
- 能寫出打磚塊的網絡,就知道哪個模型修不好嗎?WeightBench 把兩件事分開測
- 走廊盡頭的書房,剛才來過嗎?ReSpaceBench 怎樣測視頻模型的空間記憶
AI 研究趨勢 21 篇
按主題梳理檢索、智能體、推理和多模態等研究方向。
- 近一年 RAG 論文路線盤點:從“查資料”到“可驗證推理系統”
- 從 Toolformer 到 RL Tool Policy:Tool Learning / Agentic Tool Use 論文路線盤點
- Long Context LLM 論文盤點:從“能塞進去”到“真正用得上”
- LLM Evaluation 論文盤點:從靜態榜單到動態、抗汙染、任務化評測
- Prompt Injection 與 Agent Security 論文盤點:從“提示詞越獄”到權限化 Agent 架構
- 當 LLM 成為裁判:LLM-as-a-Judge 可靠性研究綜述
- Multimodal Agent 最新方法盤點:從看懂屏幕到操作真實世界
- AI Research Agents 與科研自動化:從文獻閱讀到實驗設計
- Agent Memory 與個性化長期記憶:從向量庫到可治理記憶系統
- Test-Time Scaling 與推理時計算:搜索、驗證器、反思和自一致性
- Efficient LLM Inference 與 Serving:KV Cache、Speculative Decoding、PagedAttention 和量化
- Synthetic Data、Distillation 與 Post-Training 數據飛輪:從“造數據”到“治理數據資產”
- Small Language Models、On-device AI 與邊緣部署趨勢:從“小模型”到端側智能系統
- Software Engineering Agents:代碼生成、調試、評測和真實倉庫任務
- AI for Science 論文路線盤點:從科研助手到實驗閉環
- LLM for Mathematical Reasoning:定理證明、形式化驗證與奧賽推理
- LLM for Code Research:程序合成、自動調試與軟件工程評測
- World Models 與 Embodied AI:從視頻預測到可交互環境建模
- Neuro-Symbolic AI 新進展:符號推理、程序歸納與可解釋結構
- Mechanistic Interpretability 論文盤點:從 circuits 到表示分析
- Alignment Science 與可控生成:偏好學習、憲法式訓練和可驗證對齊
AI 論文觀察 7 篇
按時間回看論文盤點,尋找值得深入閱讀的線索。
- 最新 AI 論文盤點(2026-04-20 中午補寫):5 個值得盯住的新方向,從多模態記憶到小模型代理
- 最新 AI 論文盤點(2026-04-27):5 篇新作看 Agent 世界模型、低成本 scaling law、多圖理解、長尾 3D 重建與 LLM 水印
- 最新 AI 論文盤點(2026-04-28):5 篇新作看像素級多模態、3D 視頻約束、臨床評測 rubric、RoPE 新路線與多分類學習理論
- 最新論文盤點(2026-05-09):5 篇值得精讀的 AI 新論文
- 最新 AI 論文盤點(2026-05-11):5 篇新作看自動化測試時擴展、統一駕駛數據、3D 代理表示、圖像生成後訓練與可信 KGQA
- 最新論文盤點(2026-05-12):5 篇值得關注的 AI 新論文
- 最新 AI 論文盤點(2026-05-14):5 篇新作看 Embodied Agent 驗證器、Benchmark 防作弊、VLM 失效模式、GUI Grounding 與隱性偏好學習
單篇論文剖析 1 篇
圍繞單篇論文,記錄問題、方法與閱讀中的疑問。
LLM API 入門 4 篇
從一次調用開始,依次瞭解參數、流式響應和錯誤重試。
提示詞工程 4 篇
學習指令與上下文、示例設計、角色分工和版本管理。
結構化輸出 4 篇
從 JSON 約束到校驗、修復、入庫和批量抽取。
工具調用 3 篇
通過本地函數、計算器與路由示例理解工具調用流程。
生產級 LLM 方法論 8 篇
從上下文工程到 RAG,依次討論檢索、引用、重排與拒答。
大語言模型工程指南 5 篇
串聯微調、部署、工具調用與知識檢索的實踐筆記。
視覺語言模型指南 3 篇
從圖像接入原理,讀到模型選擇、多圖輸入與高分辨率場景。
Java 併發編程 4 篇
圍繞顯式鎖、條件隊列和讀寫鎖,理解機制與使用邊界。