
- 日期:2026-10-21
- 讀者:研究生、科研新人和工程型研究者
- 範圍:真實 GPT-2 small、公開模板構造的二百五十六條合成材料;僅檢驗末位注意力節點,不是完整 IOI 電路復現。
摘要:重要的三個頭,還不足以成為解釋
上一實驗發現,凍結三個注意力頭後,干預方向能夠遷移到新名字和新句式。但“動它會影響答案”只回答了重要性,沒有回答“靠它能否解釋答案”。本篇反過來做:保留三個候選頭,把其餘末位注意力輸出替換為參考值,再比較保留系統與完整模型。
本次實際驗證得到一個明確負結果:零替換時,四組的正確答案詞表首選數全部歸零;均值替換保留了部分信號,卻仍留下明顯誤差。更關鍵的是,繼續同時消融兩套系統中的同一候選頭,差距還能擴大。我們交付的不是一張宣佈成功的電路圖,而是一組能夠推翻過強解釋的對照記錄。
一、復現價值:從定位組件走向檢驗解釋
間接賓語識別(IOI)要求模型補出接受物品的人,例如“甲和乙去商店,乙把戒指交給……”應接甲。這裡的注意力頭,是 Transformer 內部讀取上下文並寫入表示的一組計算單元;末位 END 是提示詞最後一個 token 所在位置。
論文報告區分忠實性、完整性和最小性:保留解釋能否接近原模型;在繼續敲除組件後能否仍與原模型一致;解釋是否包含不必要的組件。論文也報告其解釋存在未消除的缺口。本篇借用這些檢驗問題,不復用論文成績,也不聲稱復現其完整電路。原論文第四節
這一步的研究價值,是把“找到三個高分頭”的敘事變成可失敗的預測。如果三個頭已經足以承擔所聲稱的末位計算,那麼保留它們後的輸出不應嚴重偏離原模型。結果失敗後,應縮小解釋範圍,而不是修改成功標準。
二、核心思想與公式:平均接近仍可能漏掉計算
設輸入為 ,完整模型為 ,正確名字與干擾名字分別為 和 。使用未歸一化的輸出分數,即 logit,定義:
這裡 是相應 token 的分數,正差值只說明正確名字勝過這個干擾名字,不能保證它超過整個詞表。因而同時記錄詞表首選和正確名字概率,不把二選一優勢叫作完整正確率。
令 為十二層、每層十二個頭在 END 的一百四十四個節點;候選集合 為 A=L8H10、B=L8H6、C=L9H9,層和頭從零編號。把 中不屬於 的輸出替換後,得到局部保留系統 。所有非末位位置、MLP、嵌入、殘差與歸一化仍存在;它們是共享背景。因此這個記號絕不意味著模型只剩三個頭。
對同組 個輸入,定義 ,其中 可指任一干預後的系統。首先報告:
是組均值差, 是逐樣本絕對殘差均值。兩者一起看,才不會讓正負誤差相抵。完整性壓力檢驗再枚舉 的八個子集 :
這裡的集合差表示把指定頭輸出替換為參考值,不是刪除權重。兩邊使用相同 和相同替換規則,剩餘節點重新前向計算。我們窮舉的是三個候選節點的子集,沒有窮舉模型所有節點,更沒有證明全局完整性。
三、官方代碼閱讀路線:先讀“保留”的反面
先讀官方 process_heads_and_mlps:保留清單會轉成移除位置清單。再讀 get_circuit_replacement_hook,檢查哪個頭、哪個 token 被覆蓋。最後讀 do_circuit_extraction 的參考數據與分組均值。省略這一步,容易把“其他頭繼續正常工作”誤認為“其他頭已被排除”。官方提取代碼
本地實現獨立使用 Transformers 的完整 GPT-2 前向過程,在注意力輸出投影 c_proj 之前替換切片。輸入形狀為 ,可按十二個頭理解為 ; 是當前提示詞長度,每頭包含六十四個數。只覆蓋末位切片,未覆蓋部分通過精確相等斷言檢查。輸出仍經過官方後續層與詞表投影,沒有把緩存的乾淨答案強塞回保留系統。官方 GPT-2 實現
四、最小實驗與評測協議:改變保留範圍,凍結選擇
沿用上篇的四組樣本:舊名字舊模板、新名字舊模板、舊名字新模板、新名字新模板,每組六十四條。名字取公開列表的前八個與後八個,模板為索引零至三;地點和物品固定。八個循環名字對、兩種角色方向、兩種出現順序構成平衡設計。官方模板與名字
這些數據在上篇已經全部推理過,本篇是已觀察數據上的探索性檢驗。此前的頭選擇保持不變,不能看到失敗後重新挑頭,再把同批樣本稱為確認集。新增變量是“移除候選子集”與“移除候選集合之外的全部末位頭”的配對關係。
替換基線有兩種。零替換把指定向量清零;ABC 均值替換用三個不同名字填入三個名字位置,取六種排列的平均輸出。四個模板各有六條參考,共二十四條,均來自未乾預模型。參考名字固定為 Michael、Christopher、Jessica,分模板在 END 求均值,不使用目標答案篩參考。
這個小參考庫不等於對所有名字積分:它保留參考分佈的常量信息,還可能偏向舊名字。新舊組之間的差距不能單歸因於電路遷移。我們選擇報告兩種替換的差異,並保留此邊界,而非挑表現較好的基線作為唯一答案。

圖中綠色區域表示始終參與計算的背景模塊;橙色控制分別進入兩條分支。方法圖僅解釋流程,不承載測量值。
運行使用 GPT-2 固定 revision 607a30d783dfa663caf39e06633721c8d4cfcd7e、CPU 四線程、float32、batch 一、隨機種子一百零五;沒有訓練、生成、補齊或截斷。先做單樣本資源試跑,再執行二百五十六條:共七千九百三十六次獨立計分前向,另有一千零二十四次控制前向及二十四次參考前向。正式進程實測約二百三十一秒、峰值常駐內存約一點四六五 GB;未測 GPU 顯存與能耗。
五、本次實際驗證:保留信號不等於保留行為
下表均為本次保存日誌復算, 表示上述組均值,首選數每組滿分六十四。沒有與論文原始基準混比。
| 名字/模板 | 完整模型 | 零替換保留 | 均值替換保留 | 完整/均值保留首選數 |
|---|---|---|---|---|
| 舊/舊 | 4.446 | 0.125 | 2.608 | 64/24 |
| 新/舊 | 2.947 | 0.061 | 1.688 | 64/0 |
| 舊/新 | 3.877 | 0.115 | 1.976 | 56/15 |
| 新/新 | 2.479 | 0.046 | 1.287 | 53/0 |
零替換四組首選數均為零,但仍有不少樣本的正確名字勝過干擾名字。均值替換也出現“兩個名字之間偏好尚在、詞表答案已經錯了”的情況,因此一個正的平均 logit 差不足以交代剩餘誤差。
舊/舊組均值替換的 ,,說明抵消確實存在。按事先寫下的規則取最大絕對殘差,樣本四十六的正確答案是 Amanda:完整模型差值為 5.656,局部保留後變為 −0.455。它不僅變弱,還改變了兩個名字之間的方向;這條樣本連同提示詞和 token 編碼保存在逐例記錄中。
繼續消融 C 頭時,同組完整系統均值為 3.975,保留系統為 0.415,差距擴大到 3.559;對應詞表首選數是六十三與五。全部八個子集都保留,四組均值替換的最大差距均出現在消融 C 時。這個最大值來自預定集合的窮舉,是描述性壓力結果,不是新數據上驗證的顯著性發現。
六、失敗排查:先排除測量錯誤,再解釋負結果
所有目標樣本的空干預和一百四十四個末位頭自替換均與完整模型精確一致。另一條實現路線在輸出投影之後加入向量差,正式控制的最大詞表分數誤差約為 0.000221,低於預定的千分之一閾值。獨立腳本重新計算完整逐樣本減法、組均值、絕對殘差、計數與反例選擇,並以八種損壞記錄確認審計會拒絕錯誤證據。
獨立模型重放已完成全部七千九百三十六個計分條件:詞表首選全部一致,候選分數最大差約為 0.000183,概率最大差小於十萬分之一;參考均值的雙精度復算差小於百萬分之一。算術復算只能證明聚合一致,不能憑兩個保存的分數證明整個詞表的 argmax,所以這兩層核驗分別記錄。來源網絡首次讀取失敗後已通過授權匿名讀取恢復,失敗記錄保留;沒有修改實驗配置來迎合結果。
解釋層面仍有三個限制。大範圍零替換可能造成分佈偏移;ABC 均值並非中性的“沒有信息”;非末位與 MLP 路徑繼續工作,可能提供候選之外的支持。發現誤差不自動定位哪條遺漏邊,發現消融後差距擴大也不自動證明存在備用電路。
樣本共享名字、模板和角色配對,因此不報告普通獨立同分佈置信區間。測得的是這組構造材料、這些替換值和局部節點定義下的差距,不是自然文本總體誤差率。
七、可檢驗的研究問題與停止邊界
作者推斷是:候選頭確有局部作用,但不足以獨立承擔被省略的末位計算。下一步應區分“候選集合缺少關鍵下游頭”與“參考替換攜帶名字偏置”兩種解釋。可以先凍結更均衡的參考名字庫,檢驗組間差距是否改變;再在開發數據上擴展候選,匹配節點數並保留簡單對照。只有另設未觀察樣本,才適合確認改進。
這些是尚未運行的後續問題,不能從當前表格推出哪種解釋已經成立。本篇到此停止搜索,不把一張漂亮圖當作發現,也不為了湊齊電路而繼續添加能改善同批分數的組件。
源碼與復現入口
配套源碼已公開並完成匿名下載核驗:固定版本源碼目錄、運行說明 README、官方實現對應表 SOURCE_MAP。五十四個文件與本地歸檔逐字節一致,公開副本的審計與真實模型試跑通過。
安裝鎖定依賴後,最小真實運行命令是 python run.py --cache ./cache --out smoke-new --smoke。首次需下載約五百五十 MB 模型資源;也可複用已逐文件核驗的緩存。預期產物包括逐例分數、參考均值、階段狀態、環境與耗時記錄。去掉 --smoke 並更換輸出目錄可運行完整二百五十六條;audit.py 不加載模型,replay.py 則執行獨立模型重放。本次實際執行了試跑與全量實驗,未運行完整論文基準。
總結
本篇把組件定位推進為解釋審計:保留候選、比較殘差,再對兩邊施加相同子集消融。真實結果沒有支持完整電路的說法,卻明確指出僅靠三個末位頭會遺漏多少行為。可審查的失敗記錄,比缺少邊界的成功圖更適合作為下一項研究的起點。
參考資料
檢索日期:2026-10-21。以下為實際打開並核驗的一手材料;官方文件固定提交及許可證見源碼地圖。
- Kevin Wang、Alexandre Variengien、Arthur Conmy、Buck Shlegeris、Jacob Steinhardt,2022,Interpretability in the Wild: a Circuit for Indirect Object Identification in GPT-2 small,arXiv v1 與全文。
- Redwood Research,固定版本的電路提取實現與數據模板,MIT。
- Hugging Face,Transformers 4.49.0,GPT-2 官方前向實現,Apache-2.0。
- OpenAI/Hugging Face,GPT-2 固定模型卡,MIT;模型與 tokenizer 精確 revision 一致。