封面

  • 日期:2026-10-19
  • 讀者:研究生、科研新人和工程型研究者
  • 範圍:真實 GPT-2 small、16 條受控合成開發樣本、三個候選頭,僅干預句末位置。

摘要

前一篇發現,換一種姓名破壞方式,激活替換的頭排名會變化。但“把乾淨激活放回去能恢復行為”,不等於“把這些頭拿掉就能解釋行為”。恢復與消融的起點不同,替換值也不同。本文固定候選組件,實際運行三種基線、七個組件子集,共 336 次消融。主要結果是:兩個頭的聯合損失小於單獨損失之和;第三個頭的條件效應會隨基線改變符號。我們得到的是一個可複查的干預現象,沒有得到完整電路,也沒有證明模型啟用了備用機制。

復現價值:先問“拿掉”究竟指什麼

間接賓語識別,即 IOI,要求補全類似“Christopher 和 Michael 到商店,Christopher 把戒指給了……”的句子,目標是 Michael。模型已經能做對,研究問題才轉向內部計算。這裡的“頭”指多頭注意力中的一個子模塊;“電路”還需要說明組件如何連接、怎樣傳遞與任務有關的信息。

**論文報告:**Wang 等人的 IOI 研究使用干預分析,並提出忠實性、完整性和最小性等檢驗標準;論文還報告了常規組件被消融後,其他組件承擔名字搬運功能的現象。這是進一步檢查補償的動機,不能直接移植為本實驗結論。原論文

**本次實際驗證:**沿用上篇的模型、模板和 16 條開發材料,根據已經公開的局部破壞排名,凍結前三個候選頭:A 為 L8H10,B 為 L8H6,C 為 L9H9。層與頭均從零編號。本篇內部對照只改變替換基線和被替換的組件集合;相較上篇批量三十二的掃描,此次統一改為批量一併重算基線,避免把批量數值差混入效應。排名和消融使用同一批開發材料,因此這是探索性跟進,不是獨立確認。

核心思想:零、均值和重採樣回答不同問題

零消融把選定激活變成零,容易執行,卻同時改變均值、尺度和內容。均值消融使用參考分佈的平均激活,保留某些共同成分。重採樣消融則使用一個參考樣本的真實激活,保留該樣本內部的結構,但結果可能依賴抽到誰。三者都需要明確參考對象,不能把“真實激活”當成“無偏替代”的保證。

本實驗把每個模板裡的三個姓名位置改成三個不同名字,枚舉 Michael、Christopher、Jessica 的六種排列,形成每模板六條、總計十二條 ABC 參考句。這裡 ABC 表示三個不同姓名槽位,與候選頭 A、B、C 的記號無關。參考句沒有重複主語身份,不賦予唯一正確間接賓語標籤。按模板取均值,或者按預先保存的種子 103 映射取一個供體;同一目標的所有頭與子集共用該供體。

原論文也討論了使用 ABC 參考分佈及模板分組的理由;本次只枚舉極小參考庫,不聲稱復現其完整採樣與電路提取過程。參考均值可能不是任何自然輸入的實際狀態,單次供體分配也不能代表重採樣的總體平均。論文中的消融定義

消融方法圖

圖中三條替換支路是並列條件,虛線把原始模型輸出送入配對審計;圖形只說明協議,不承載實驗測量。單獨與聯合消融均只作用在末位,其他位置和未選組件繼續計算。

公式與模塊:把組件效應寫成可復算的量

採用原始正確名字與干擾名字的 logit 差:

D(x)=ℓIO(x)−ℓS(x),ΔK(b)(x)=D(x)−DK(b)(x).D(x)=\ell_{IO}(x)-\ell_S(x),\qquad \Delta_K^{(b)}(x)=D(x)-D_K^{(b)}(x).

xx 是乾淨提示詞,ℓ\ell 是輸出層未經 softmax 的分數,IOIO 和 SS 分別為正確名字與主語名字。KK 是被消融的頭集合,bb 是替換基線;DK(b)D_K^{(b)} 是干預後的分差。Δ\Delta 為正表示該干預使表現下降,為負表示改善。它不是正確率,也不是組件擁有的固定“貢獻份額”。

兩個頭的非加性量定義為:

IAB(b)=ΔAB(b)−ΔA(b)−ΔB(b).I_{AB}^{(b)}=\Delta_{AB}^{(b)}-\Delta_A^{(b)}-\Delta_B^{(b)}.

同一樣本、同一基線下,若該值為零,兩次獨立損失可相加;負值說明聯合損失小於相加預測。先逐行計算,再對固定十六行取均值。另看在 AB 已消融後移除 C 的邊際影響,即 ΔABC(b)−ΔAB(b)\Delta_{ABC}^{(b)}-\Delta_{AB}^{(b)}。這個量與單獨消融 C 的效應可以不同。

實現緩存注意力輸出投影前的 zz,張量視圖為 [1,T,12,64][1,T,12,64]:批量為一,TT 為十五或十九個輸入 token,十二個頭各有六十四維。我們只替換末位的選中切片,輸出投影、殘差路徑和後續網絡仍正常運行。因此這不是刪除整個頭的權重,更不是在所有位置關閉它。

官方代碼閱讀路線

先看固定版本 GPT2Attention:找到注意力加權值合併到隱藏維、進入 c_proj 的位置,確認切片對應哪個頭。再看 GPT2LMHeadModel 的最終輸出層,確認比較的是同一位置和同一答案 token。最後讀 IOI 倉庫的 get_circuit_replacement_hook 與 do_circuit_extraction,檢查位置替換、參考數據和分組均值的接口。官方 GPT-2 源碼、IOI 消融實現

本地實現使用官方 Transformers 前向過程,自寫鉤子完成教學實驗,沒有運行 EasyTransformer 或 TransformerLens,也沒有進行權重轉換。源碼地圖逐項標註原樣複用的自寫模塊、改寫部分與獨立算術實現。四份官方文件已重新下載核驗,其中模型實現與安裝版本字節一致。

最小實驗與評測協議

實驗凍結了 GPT-2 模型與分詞器 revision 607a30d783dfa663caf39e06633721c8d4cfcd7e,使用 PyTorch 2.6.0、Transformers 4.49.0、CPU 單精度、四線程、批量一。材料由兩模板、兩種姓名順序、兩個相互重疊的姓名對及兩個角色方向構成。只有三個不同名字,不能把十六行當作獨立自然樣本。留出名字和模板未推理,未訓練、生成或截斷。

七個子集為三個單頭、三個雙頭和三個頭聯合。主要對照提前寫為零值與參考均值下的 AB 損失及非加性;重採樣和其餘組合完整報告,不在看過結果後挑選“最有解釋力”的設置。配置、源碼、數據、資源及協議哈希在試跑前凍結,輸出緩存不復用。

單樣本試跑含二十一個干預及完整參考庫,耗時 13.31 秒,預計全量約 21.24 秒,低於三百秒預算。正式運行實際牆鍾 11.99 秒、進程峰值內存約 1.47 GB;試跑包含冷啟動成本,兩者不構成速度比較。各階段狀態、逐行分數、供體向量和退出碼均保留。

本次實際結果:不能把非加性翻譯成補償

乾淨模型平均分差為 4.295。下表中的數字都是平均分差損失,越大表示干預破壞越強;最後兩行則是配對對比量。

預定量 零消融 ABC 均值 固定 ABC 重採樣
單獨 A 的損失 1.218 1.256 1.195
單獨 B 的損失 1.416 1.513 1.519
單獨 C 的損失 0.320 0.702 0.667
聯合 AB 的損失 2.340 2.493 2.453
聯合 ABC 的損失 2.281 2.537 2.477
AB 非加性 −0.294 −0.276 −0.262
AB 後繼續消融 C −0.060 0.044 0.025

三種基線的十六行 AB 非加性均為負。若簡單相加單頭損失,會高估聯合干預的平均損失。更值得追蹤的是 C:單獨消融明顯有害,但在 AB 已消融後,邊際損失接近零,且零消融下平均略有改善。均值基線下 AB 後分差仍為正的有十四行,而全詞表首選正確僅十二行;只比較兩個名字,會漏掉其他詞超過正確答案的情況。

**作者推斷:**這些現象足以反駁“組件有不隨背景變化的貢獻值”這一簡單解釋,卻不能辨認補償路徑。尤其這裡沒有出現“移除 AB 後 C 更不可或缺”的證據。殘差重計算、層歸一化、非線性與分數飽和都可能產生非加性;證明備用機制,需要額外定位與路徑干預,而不是給交互項起一個生物學名字。

失敗排查與證據邊界

先排除實現錯誤。乾淨激活替回自身、空集合干預的全詞表誤差均為零;完整官方輸出與末位讀出的最大誤差約為 0.000191。另寫一種獨立實現,在輸出投影后加入替換產生的線性差量,與投影前覆蓋相比最大誤差約為 0.000061,低於預設閾值。所有模式的三頭聯合均執行該對照,避免多個鉤子互相覆蓋。

再排除算術錯誤。獨立標準庫腳本從原始候選分數復算全部條件、均值、正確數、交互量及參考向量統計,並通過七項故意損壞測試。這是自動復算,不是人工標註。補充獨立程序用另一種投影后干預和完整官方前向,重放十六條基線及全部三百三十六個條件,全詞表首選一致;候選分數最大差約 0.000153,雙精度概率核對最大差約 0.000043,不聲稱所有數值逐位相同。

還要區分必要性和充分性。某次消融讓分數下降,只說明該干預條件下這些激活與行為有關;不能說明只有這些組件參與,也不能說明保留這些組件就能重建行為。本文沒有關閉剩餘網絡,沒有檢查組件之間的邊,因此不能從三個候選頭畫出一個完整因果圖。完整記錄保留了未在表中展示的兩個雙頭組合,讀者可以核對結論是否只依賴某個特選子集。

最後檢查替換尺度。C 的乾淨向量平均範數約 9.376,零替換為零,參考均值約 4.438。三種干預幅度不同,不能把它們當成等強度擾動;範數差也不能證明某狀態在分佈之外。真正的邊界是:參考庫很小、只有一次供體分配、開發選擇和分析共用數據。舊臨時環境缺失依賴及網絡恢復過程已記錄,沒有把環境修復當作科學結果。

從現象到可檢驗的研究問題

下一步應固定這三個頭和替換規則,在留出的名字、模板上比較行為與條件效應;若只有名字變換後失效,先檢查參考庫是否編碼了姓名身份,若僅換模板失效,檢查末位上下文及參考分組。兩種解釋要求不同對照,不能失敗後重新挑頭,再把新組合包裝成原假設通過。

另一個區分性實驗是固定干預集合,改變參考庫規模並重復供體種子:若符號穩定而大小波動,主要問題可能是估計精度;若符號系統改變,則“組件重要性”的定義本身依賴參考分佈。這裡提出的是待驗證假設,本次沒有運行這些新增設置,也不預先承諾遷移成功。

源碼與復現入口

本篇已公開的固定版本:完整源碼目錄、README 與運行說明、SOURCE_MAP 與上游映射。四十四個分發文件已匿名下載,與本地源碼和歸檔逐文件哈希一致;公開副本通過獨立審計與真實模型試跑。

安裝 README 中的鎖定依賴後,最小入口為:

python run.py --cache ./cache --out smoke-new --smoke
python audit.py smoke-new

第一條命令校驗或下載固定資源,運行一條真實目標及十二條參考句,生成逐條件記錄、參考激活、彙總、環境與階段狀態;第二條執行獨立復算。正式範圍為十六條目標、三百三十六次干預及全部實現對照。歸檔包含所有自寫模塊和必要證據,模型權重由固定鏈接獲取。不要將最小試跑輸出與正式全量結果混報。

總結

消融是一個帶有參考值、作用位置和指標選擇的實驗。此次可核查的進展,是把聯合效應的非加性和條件依賴寫進了完整記錄;仍缺少的是補償路徑及留出遷移證據。只有把這兩者分開,定位結果才有機會發展成可以被檢驗的機制解釋。

參考資料

檢索與訪問日期:2026-10-19。以上結果來自本次日誌,以下一手資料提供概念、模型和實現依據。

  1. Kevin Wang、Alexandre Variengien、Arthur Conmy、Buck Shlegeris、Jacob Steinhardt,2022:Interpretability in the Wild: a Circuit for Indirect Object Identification in GPT-2 small,v1。
  2. Fred Zhang、Neel Nanda,ICLR 2024:Towards Best Practices of Activation Patching in Language Models: Metrics and Methods,v2。方法敏感性背景,不代表本次復現其完整實驗。
  3. Redwood Research:固定版本 IOI 模板;許可證與公式對應見源碼地圖。
  4. Hugging Face:GPT-2 固定模型卡。模型與分詞器文件身份另由八項 SHA-256 鎖定。