封面

  • 日期:2026-10-16
  • 適合讀者:研究生、科研新人、工程型研究者
  • 實際範圍:真實 GPT-2 small;公開 IOI 模板構造的 64 條英文樣本;僅行為評測。

摘要:先確定要解釋的行為

上一單元追問分數怎樣被提示、評分和選擇過程改變,本篇開始追問模型內部怎樣產生一個具體行為。轉折點不是換一張注意力熱圖,而是建立一個足夠清楚、能重複測量的研究對象:當句子說兩個人一起去商店,其中一個把東西交給另一個時,模型更傾向補出誰的名字?

本次實際運行中,正確名字在全部六十四條樣本上都排在全詞表第一,平均 logit 差為 4.446,平均正確名字概率為 0.600。結果說明這組材料上存在可研究的行為;它不意味著完整復現了論文,也不能證明模型使用了人類想像的語法規則。最弱樣本的正確名字概率只有 0.172,準確率已經把這種差異藏起來了。

復現價值:把一個回答變成可核查對象

間接賓語識別,簡稱 IOI,是讓模型補全句末接收物品者的名字。例如本次第零條輸入說 Christopher 和 Michael 去商店,接著 Christopher 把戒指交給……目標是 Michael,干擾答案是 Christopher。這裡的“正確”來自受控任務的角色約定,而非對自然語言所有可能續寫的排他判定。

Wang、Variengien、Conmy、Shlegeris 與 Steinhardt 的原論文於二〇二二年發表預印本,研究 GPT-2 small 的這一行為,並用干預分析提出由二十六個注意力頭組成的解釋。論文還用忠實性、完整性和最小性檢驗解釋,而不是把漂亮熱圖當作結論。這是論文報告;本篇沒有實施這些干預。原論文

我們的復現目標更窄:固定權重、名字和模板,確認信號方向,留下每條輸入、位置、原始分數與聚合關係。它為後續激活替換提供參照點。若干淨輸入尚未產生穩定信號,任何“恢復百分比”的分母都可能失去意義。

核心思想與公式:比較兩個名字,也看整個詞表

logit 是 softmax 轉成概率前的實數得分,並非概率本身。對第 ii 條輸入,主要指標為:

Δi=zi,IO−zi,S,Δˉ=1n∑i=1nΔi\Delta_i=z_{i,\mathrm{IO}}-z_{i,\mathrm{S}},\qquad \bar\Delta=\frac{1}{n}\sum_{i=1}^{n}\Delta_i

其中 n=64n=64,IO 指應接收物品的人,S 指後半句的主語;zz 是答案生成前最後一個輸入位置的詞表得分。差值為正,只表示正確名字比指定干擾名字更受偏好。平均差值是本篇預先指定的主要指標,避免看到全對後臨時改用最有利統計量。

qi=ezi,IOezi,IO+ezi,S=σ(Δi),pi=ezi,IO∑v∈Vezi,vq_i=\frac{e^{z_{i,\mathrm{IO}}}}{e^{z_{i,\mathrm{IO}}}+e^{z_{i,\mathrm{S}}}}=\sigma(\Delta_i),\qquad p_i=\frac{e^{z_{i,\mathrm{IO}}}}{\sum_{v\in V}e^{z_{i,v}}}

qiq_i 是限制在兩個候選內的條件概率,σ\sigma 是 sigmoid 函數;pip_i 是正確名字在完整詞表 VV 中的概率。兩者分母不同,不能互稱“置信度”。本次平均 qiq_i 為 0.969,卻不能據此聲稱模型給正確答案分配了百分之九十六點九的絕對概率。

GPT-2 的實際輸出張量為 [1,L,50257][1,L,50257]:批大小為一,LL 為輸入長度,本次為十五或十九,最後一維為詞表。末位置隱藏向量為 [768][768];經最終歸一化後的隱藏狀態通過語言模型輸出層映射成詞表得分。位置檢查和模型調用同樣重要,讀錯一格會變成預測另一個詞的實驗。

官方代碼閱讀路線

先讀作者倉庫的名字表與 BABA_TEMPLATES,再看初始兩個人名交換後得到的 ABBA 模板。A 表示目標人物,B 表示重複出現的主語;這串字母包括尚未輸入的末尾答案。隨後讀 gen_prompt_uniform 的對稱交換,理解更換角色時答案為什麼也必須更新。固定生成器

第二站是 ioi_utils.logit_diff:它從每條樣本的 end 位置讀取 IO 與 S 得分並相減。第三站是 Transformers 的 GPT-2 輸出層。本次使用版本 4.49.0 的正式實現,已將安裝文件與固定提交逐字節核對;沒有整套安裝舊 Easy-Transformer,也沒有聲稱驗證了 TransformerLens 權重變換後的等價性。源碼地圖明確區分模板改編、官方模型調用和獨立算術審計。固定計分函數

最小實驗:凍結哪些變量

IOI 行為基線流程

模型與 tokenizer 均固定在 607a30d783dfa663caf39e06633721c8d4cfcd7e,官方模板固定在 ea15315dd24481e9e2ac5c3ef335d82907a1dc34。下載器核對八個文件的 SHA-256,樣本另以完整文件哈希標識。數據來自公開模板的確定性展開,沒有虛構數據集 revision。固定模型卡

實驗取官方列表前八個名字,按列表相鄰且首尾相接構成八對,每對再交換角色;取前兩個句式,各做 ABBA 與 BABA 兩種順序。由此得到四個條件,每個十六條。地點固定為商店,物品固定為戒指。相比原作者隨機選擇更多名字、地點和物品的生成器,我們主動收縮了變化範圍,不能把這裡的高分同論文的大規模結果排名比較。

配置在推理前凍結:CPU、float32、eager attention、四線程、隨機種子一百、批大小一;使用評測模式,不訓練、不自由生成、不加句首特殊符號、不截斷。每條候選必須含前導空格且恰為一個 token,完整“前綴加答案”的編碼必須等於前綴 token 加答案 token。目標名字在前綴出現一次,主語出現兩次,三個位置全部保存。

資源先用兩條樣本試跑,預算為一千二百秒和四 GiB 峰值內存;通過後才運行六十四條。正式進程牆鍾耗時 5.418 秒,其中記錄的前向循環耗時 1.878 秒,峰值常駐內存為 1,604,501,504 字節。它們是本機實測,不是吞吐量宣傳;下載時間和環境安裝不包含其中。沒有緩存全部注意力頭的激活,因此不能據此估算後續電路掃描成本。

具體看第零條,目標名字的 token 編號為 3899,干擾名字為 12803;零起算位置分別為四,以及二、十,最後輸入位置為十四。讀者可以直接把這些位置同保存的 token 字符串逐項對上。前導空格屬於名字編碼的一部分,不能先去掉再憑肉眼斷言相同。候選後面也沒有加標點或終止符,因此本篇計分對象始終是下一個單 token 的名字。

這個設計對初學者還有一個實用約束:先把條件表寫清,再下載模型。八對名字並不是八個互不重疊的人群,同一個人名會進入相鄰兩對;對稱交換則保證每對的兩個名字都當過目標和主語。它有助於避免總是讓某個常見名字充當答案,卻不能讓樣本突然滿足統計獨立性。把實驗單位說明白,比後期給表格機械加誤差線更有價值。

評測協議與本次結果

條件 樣本數 平均 logit 差 正確名字平均概率 全詞表第一名正確數
句式零,BABA 16 3.808 0.534 16
句式零,ABBA 16 4.997 0.663 16
句式一,BABA 16 4.294 0.567 16
句式一,ABBA 16 4.685 0.635 16
全部 64 4.446 0.600 64

四組都全對,但分數間隔並不相同。由於同一名字跨多個條件重複出現,這些行不是六十四個獨立自然樣本;本篇不對行做普通 bootstrap 後宣稱總體顯著。表中組間差異是這份固定設計的描述性證據,也不等於單獨發現了位置偏差的內部原因。

第八條是預定主指標最弱的樣本:Jennifer 給 Ashley 戒指,目標 Ashley 的概率為 0.172,Jennifer 為 0.105,差值僅 0.489。它仍然全詞表排名第一,因為其他詞的概率也較低。這提醒我們,正確率飽和時應繼續保留連續指標,而不是為了製造失敗臨時增刪樣本。

獨立標準庫腳本重新核對六十四條的分數相減、概率比、位置、角色映射和全部均值;另用四類故意損壞記錄確認審計會報錯。腳本、輸入哈希、命令和退出碼一起歸檔。這是自動復算,沒有把機器檢查稱為真人審核。

只根據正負號或第一名選擇後續干預材料,會把容易測量的例子與強信號例子混為一談。我們保留全部六十四條作為開發材料,也保留最小與最大差值;下一篇若需縮小掃描範圍,應按預先制定的預算規則選擇,並說明選擇是否看過本篇分數。不能在全量結果已經可見後,把再次抽出的子集叫作未見確認集。

另一個容易忽略的細節是聚合順序:先對每條差值應用 sigmoid 再求平均,與先平均差值再應用 sigmoid 通常不同。正文報告前一種;獨立腳本同時利用概率之比的對數核對原始差值,避免把兩個名字的條件概率誤填進絕對概率列。這類確定性檢查可以交給腳本,但它不代替對模板語義和未來破壞操作合法性的判斷。

失敗排查:先檢查測量鏈,再解釋模型

首次真實試跑在輸出層檢查失敗:把末位置向量單獨乘輸出矩陣,與批量矩陣乘法結果相比,最大誤差為 0.000160,略高於預設絕對閾值。雙精度對照支持浮點舍入解釋,同形狀重算則完全一致。正式運行前將硬檢查改為同形狀精確一致,並繼續保存單向量誤差;原失敗腳本、日誌和修訂記錄均保留。沒有因這個問題換名字或挑模板。

補充審計獨立重跑全部輸入,用標準庫在五萬多個詞表得分中取最大值,六十四個第一名及候選原始得分均一致。但用雙精度指數求和復算絕對概率時,與官方 float32 輸出的最大差異為 0.000045;正文各組均值保留三位小數不受影響。這個差異已記錄,不把概率逐位一致當作已通過的結論。

恢復實驗時,首先核對模型和樣本哈希;其次檢查前導空格與答案是否被拆成多個 token;然後核對最後位置是否是輸入的末尾,而非把答案也喂進去。若這些通過,再看實際分數。更換模型庫、加入句首符號、做半精度或改變 padding 時,都應視為新協議並重新驗證,不能沿用緩存中的漂亮結果。

從行為證據走向可檢驗問題

作者推斷是:這組強而未完全飽和的連續信號適合開展下一步因果乾預。至少有兩種競爭解釋需要區分:模型利用重複名字的信息排除主語,或者依賴名字頻率、初始位置與固定句式的組合捷徑。對稱交換減少部分角色頻次混雜,但不能單憑它排除這些替代解釋。

下一篇應先定義語義明確的乾淨與破壞配對,保留不替換和完整替換對照,再問某個位置的激活能否恢復得分。組件排序必須只在開發材料上選擇。本次已預留官方列表接下來的八個名字及模板二、三,沒有對它們推理;未來遷移失敗也不能回頭挑一套能贏的頭來稱作驗證。

源碼與復現入口

完整源碼已發佈並匿名下載核驗:固定提交目錄、運行說明 README、官方實現對應 SOURCE_MAP。全部四十五個公開文件與本地歸檔逐一一致,公開副本的獨立審計、破壞性檢查及真實兩條試跑均通過。原始輸出與首次試跑失敗記錄一併保留。

安裝鎖定依賴並下載固定資源後,最小真實入口是:

python run.py --cache ./cache --smoke --out smoke-new
python audit.py --results smoke-new

第一條生成兩條真實模型記錄、聚合結果、階段狀態及環境身份;第二條獨立復算。完整命令去掉 smoke 參數即可重放六十四條。本次確實運行了正式範圍;重新執行屬於復現已見材料,不是新的盲測。源碼不攜帶權重或隱藏的本機模塊,模板重建腳本可從固定官方文件恢復相同樣本。

總結

這一篇留下的核心資產,是一套能回答“輸入是什麼、讀了哪個位置、分數怎樣得到”的行為基線。全部答對並不結束研究;低間隔樣本、順序差異和保留材料,才使下一步問題有機會被證偽。關於電路的任何解釋,都應在這些可審查事實之後提出。

參考資料

檢索與實際打開日期:2026-10-16;固定版本與許可詳見源碼地圖。

  1. Wang, K., Variengien, A., Conmy, A., Shlegeris, B., Steinhardt, J. (2022). Interpretability in the Wild: a Circuit for Indirect Object Identification in GPT-2 small,v1。
  2. 作者團隊:官方 IOI 代碼與實驗入口。
  3. OpenAI community / Hugging Face:GPT-2 固定模型卡。
  4. Hugging Face:Transformers 4.49.0 對應 GPT-2 官方實現。
  5. TransformerLens:Exploratory Analysis Demo,後續干預閱讀入口;本篇未運行該示例,動態頁面不作為本次執行版本。