
- 日期:2026-10-20
- 讀者:研究生、科研新人和工程型研究者
- 範圍:真實 GPT-2 small,公開 IOI 模板構造的合成材料;四組各六十四條,不代表自然語言完整基準。
摘要:方向遷移了,強度卻沒有照搬
上一實驗比較了清零、均值和重採樣消融,說明“刪掉幾個頭後分數下降”不能直接證明找到了完整電路。今天增加一個約束:不再尋找更好的頭,帶著同一組組件走進預留的名字與模板。
本次實際驗證中,三個頭的聯合干預在所有樣本上保持同方向:清零降低正確名字相對干擾名字的分數,替換激活則提高該分數。然而,雙重遷移的平均消融下降量從原組的 2.387 縮至 1.360,完整模型首選答案正確數從 64 降至 53。恢復比例都約六成,卻遮住了不同的原始信號強度。本文復現的是組件集合的局部遷移證據,不把它命名為已驗證的完整電路。
一、復現價值:先把“換了還有效”寫成能失敗的問題
間接賓語識別,簡稱 IOI,要求模型在句尾預測接收物品的人。例如兩個人進入商店,其中一人把戒指送給另一人;候選包括接收者 IO 和贈送者 S。這裡觀察的是下一個詞元,詞元即分詞器送入模型的離散單位,不執行自由續寫。
Wang 等人的原論文用因果乾預研究 GPT-2 的 IOI 行為,並以忠實性、完整性、最小性檢驗解釋。論文報告支持研究這種任務的價值,但並不替本次三頭實驗背書。本文也沒有把論文中的組件名單整體移植過來。
本次集合沿用開發階段排名:零起始編號的 L8H10、L8H6、L9H9,即層號與頭號。它們在已有十六條開發材料上被選擇,上一實驗已使用過;遷移時頭號、聯合操作和句尾位置全部凍結。預先假設是:三個遷移組的平均消融下降量與恢復增量均為正。強度相同屬於更強命題,本次沒有為它預設等效界限。
二、實驗設計:四組材料回答兩個變化維度

原名字取官方列表前八個,留出名字取緊接著的八個;原模板為索引零、一,新模板為二、三。這些留出材料在行為基線階段已登記,本次凍結方案之後才做首次推理。“新名字”僅指未用於本項目組件選擇,不能聲稱預訓練模型沒有見過這些人名。
每組由八個循環相鄰名字對、兩種角色方向、兩種首次提及順序和兩個模板組成,共六十四條。地點與物品固定為商店與戒指。所有名字都驗證為帶前導空格的單詞元;四組組合索引一一對應,便於逐項比較。這裡的配對是設計位置相同,不意味著不同人名具有完全一致的語言屬性。兩組未匹配名字的詞頻或性別關聯,也沒有測量它們在預訓練語料中的出現率。因此,“換名字效應”只能指這兩份凍結名單之間的差異,不能進一步歸因於某一種名字屬性。
原組複用了此前六十四條行為材料,其中十六條參與過組件選擇,因此它是開發參照。其餘一百九十二條才是本次預留遷移材料。循環名字對彼此重疊,同一模板又重複使用,不能把這些行當作獨立抽取的自然句子。本次只給描述性差值,不畫看似精確的逐行自助法置信區間。
新模板包含“正在工作”“想去某地”,同時改變後續動詞表達和長度。它們保持公開 IOI 構造,卻不是僅替換一個語法成分的嚴格最小對照。只換名字、只換模板、同時改變三組,可以分開定位變化來源;仍不能從中得出純句法的因果效應。
三、核心公式與干預:恢復比例必須帶著分母看
先定義候選分數差:
是不含答案的輸入前綴, 是模型最後位置的未歸一化輸出分數,即 logit。 僅表示兩個名字之間更偏好 IO,不保證 IO 在整個詞表中排名第一。因此還記錄全詞表首選答案和 IO 概率。
主要指標為聯合清零下降量:
表示一個實驗組,, 是三個選定頭在句尾的輸出激活同時清零後的分數差。模型權重沒有刪除;所有後續計算照常進行。數值越大,表示這種清零操作對該組的分數影響越大,不等於解釋覆蓋率。
恢復實驗把最後一次出現的主語換成原 IO,得到反事實前綴 ;仍按原 IO 與原 S 計分。再將對應乾淨輸入中三個頭的句尾激活放入反事實運行,得到 。定義:
橫線是組內均值; 是原始恢復增量, 是均值之比,不是逐行比例的平均。若平均分母絕對值不超過百萬分之一,腳本返回空值而不硬除。負效果與超過一的值也不裁剪。Zhang 與 Nanda研究了指標及破壞方式對定位結果的影響,因此本文同時保留原始增量與分母。
遷移的是組件位置和操作規則,每條新句子仍需要自己的乾淨激活。這沒有證明一個固定向量可以跨句通用,也沒有把三頭同時替換稱作逐邊路徑修補。
四、官方代碼閱讀路線與最小運行
先讀官方 ioi_dataset.py 的名字、模板與首次提及換序,再看 ioi_utils.py 的候選差值;最後追到 Transformers 的注意力輸出投影 c_proj。源碼地圖給出了固定提交、具體行號及許可證,避免讀者面對不斷變化的主分支。
投影前激活可解釋為形狀 :批量一、長度 、十二個頭、每頭六十四維。官方實際傳入投影的是拼接後的 ,本地鉤子只改最後位置的三個切片。模板長度變化時,句尾由實際前綴長度定位,不能沿用舊整數位置。
本次使用官方完整語言模型前向,輸出形狀為 ,不再以單獨最後位置矩陣乘法替代讀出。每行另用投影后的增量實現交叉檢查,驗證兩種干預表達在浮點容差內一致。沒有安裝或運行 TransformerLens,也沒有把不同框架的轉換權重混進來。
模型和分詞器固定在 607a30d783dfa663caf39e06633721c8d4cfcd7e,模板固定在 ea15315dd24481e9e2ac5c3ef335d82907a1dc34。八個資源文件逐一核對哈希;複用已有緩存,不把重新下載當作實驗進度。CPU、單精度、四線程、批量一,關閉訓練、生成與截斷。
五、本次結果:同方向不等於同等解釋力
下表全部來自保存的真實模型日誌;原組為開發參照,其他組為凍結後的遷移測量。表中下降量與增量的單位都是 logit 差。
| 條件,每組六十四條 | 乾淨均值 | 乾淨首選正確 | 清零下降量 | 恢復增量 | 恢復比例 |
|---|---|---|---|---|---|
| 原名字、原模板 | 4.446 | 64/64 | 2.387 | 5.387 | 60.59% |
| 新名字、原模板 | 2.947 | 64/64 | 1.720 | 3.834 | 65.04% |
| 原名字、新模板 | 3.877 | 56/64 | 1.947 | 4.207 | 54.24% |
| 新名字、新模板 | 2.479 | 53/64 | 1.360 | 2.997 | 60.43% |
所有二百五十六條的清零下降量與恢復增量都為正,預設的方向假設得到本組材料支持。但雙重遷移的下降量比原組少 1.027,恢復增量少 2.391。恢復比例接近,是因為平均乾淨—反事實間距也從 8.892 縮至 4.959;不能只摘取約六成就聲稱機制強度不變。
恢復後全詞表首選正確數依次是 46、47、23、26。尤其在原名字配新模板時,恢復後兩候選差為正的有四十條,真正首選 IO 的卻只有二十三條。兩個名字間的局部改善,離完整詞表的答案恢復還有距離。
本次正式運行約六十二秒,進程峰值內存約一點四六六 GB,詳細字節值與環境存於運行記錄;未單獨測量顯存或能耗。共記錄一千零二十四個評分條件,另有一千二百八十次實現控制前向。模板前綴長度為十五、十九、十八、二十,計算量差異如實保留,沒有裁短新模板來偽造等成本。
六、失敗排查:從具體反例回到測量定義
樣本一百三十六中,Jennifer 打算把戒指給 Ashley;模型對 Ashley 相對 Jennifer 的差為正,詞表第一卻是代詞“her”。這屬於本協議的名字精確首選失敗,不宜解釋成模型完全不理解接收者。其他失敗還出現“the”,提示開放詞表競爭與兩候選判斷不是同一任務。
雙重遷移的樣本二百四十二則更直接:David 與 James 的前綴中,候選差為負零點四四零。本文沒有剔除它後再報告恢復率,也沒有據此回到留出集重新挑頭。單個失敗只能揭示邊界,不能證明某種人名屬性就是原因。
實現層先查答案拼接的分詞邊界,再查主語出現次數、唯一替換位置、句尾索引及鉤子範圍。空鉤子和兩種自替換全詞表誤差均為零;投影兩種實現最大誤差約萬分之一。獨立腳本復算全部算術,並拒絕七類故意破壞的數據。另一實現重放全部評分條件,首選詞元全部一致;候選分數與概率存在微小浮點差異,記錄中沒有把它說成逐位相同。
七、研究問題:下一次需要怎樣的反證
作者推斷是:這組頭承載的局部作用可以跨本次材料保持方向,但強度和完整答案恢復仍依賴輸入分佈。它尚未排除清零造成的分佈外擾動;上一篇已顯示替換基線重要,今天沒有重新運行所有均值與重採樣條件。
一個可檢驗後續問題是:在另行登記的材料上,用長度更匹配的模板與預先固定的替換基線,原始恢復增量是否仍隨乾淨分數一起縮小?競爭解釋包括完整模型本身信號變弱,以及選定組件對新表達的相對作用改變。需要新增受控證據區分,不能由當前四個均值替代機制結論。
這些留出名字和模板現已被使用,不能在後續文章重新稱為未見確認集。下一步評估保留組件與完整模型之間的剩餘誤差時,也必須承認今天看到過的失敗。完整性要求的是更強的排除證據,正向遷移不是終點。
源碼與復現入口
本篇已公開:固定版本源碼目錄、運行說明 README、官方實現對應表 SOURCE_MAP。四十八個分發文件已匿名下載並與本地逐項核對;公開副本也通過真實試跑。安裝鎖定依賴後,最小命令為:
python run.py --cache ./cache --out smoke-new --smoke
它運行原組一條真實樣本的四條件與控制檢查,產出逐行記錄、彙總、階段狀態和資源日誌。去掉 --smoke 並使用新輸出目錄可運行全部二百五十六條;python audit.py results 可離線審計歸檔結果。依賴、下載器、獨立復算、固定上游映射與許可證完整提供,模型大文件由固定版本下載,不隨源碼分發。
總結
遷移實驗最有價值的地方,是讓一項解釋面對它沒有參與選擇的材料。本次證據支持三個固定頭的局部干預方向遷移,同時留下強度縮小、詞表競爭與恢復不足。把這些現象並列保存,比僅展示穩定百分比更接近可檢驗的科研問題。
參考資料
檢索與固定源碼訪問日期:2026-10-20。
- Kevin Wang、Alexandre Variengien、Arthur Conmy、Buck Shlegeris、Jacob Steinhardt:Interpretability in the Wild: a Circuit for Indirect Object Identification in GPT-2 small,2022,所讀版本 v1。
- Fred Zhang、Neel Nanda:Towards Best Practices of Activation Patching in Language Models: Metrics and Methods,ICLR 2024,v2。
- 作者官方倉庫:固定模板與名字實現、候選分數實現。
- Hugging Face Transformers:固定 GPT-2 實現,4.49.0。
- OpenAI / Hugging Face:GPT-2 固定模型卡。