讀者:研究生、科研新人和工程型研究者;檢索與實驗日期:2026-09-18。

摘要
從隱藏層預測某個屬性,準確率接近滿分,能否說明模型靠它完成任務?本文閱讀控制任務論文與官方代碼,在凍結的小網絡上訓練線性探針,並把探針分數與模型行為分開驗證。實驗目標是復現測量協議和一個可檢查的反例:表示中的信息可被讀出,並不自動說明當前決策依賴它。本次執行的是本地合成實驗,沒有復現原論文的語言模型或自然語言榜單成績。
目錄
- 復現價值:把問題拆成兩層
- 核心思想與公式
- 官方代碼閱讀路線
- 最小實驗與實際結果
- 評測協議與獨立審計
- 失敗排查與因果邊界
- 後續科研問題
- 總結與參考資料
復現價值:把問題拆成兩層
探針是附加在凍結表示上的預測器。凍結表示指主模型參數不隨探針訓練更新;否則高分可能來自重新訓練主模型,而不是測量已有表示。線性探針只允許仿射映射,通常用於詢問某個屬性是否容易被一個簡單讀出器利用。
這裡有兩個問題:外部分類器能否恢復屬性,以及原模型是否依賴屬性作答。前者是可解碼性,後者需要行為或干預證據。探針本身也會學習;數據量、參數量、正則化和劃分方式都屬於測量條件,不能從標題裡“線性”二字推導出結果必然可信。
論文報告:Hewitt 與 Liang 在二〇一九年提出按詞類型隨機分配標籤的控制任務,用來檢查探針對詞身份的記憶能力。Ravichander、Belinkov 與 Hovy 在二〇二一年的自然語言推斷和合成實驗中,進一步展示了可解碼屬性與任務相關性之間的差距。本文借用這些問題意識,另做一個規模很小、數據和參數全部可審計的實驗。控制任務論文;任務相關性論文
核心思想與公式

圖中主路徑提取表示並訓練探針,綠色分支單獨檢查原模型行為。控制標籤只改變探針目標,不回傳修改編碼器。方法圖展示協議關係,不是本次實驗結果圖。
是輸入, 是第 層緩存, 為樣本數, 為表示寬度。 是長度為 的權重, 是標量偏置, 為把分數映射到概率的 sigmoid 函數。 是待探測的二元屬性,可以不同於主任務答案; 控制權重懲罰,偏置不懲罰。多類別情形可改用 softmax。
論文中的選擇性定義為真實任務準確率減去控制任務準確率。控制標籤對同一詞類型保持固定,使探針有機會記住詞與隨機輸出的映射。逐條樣本獨立打亂標籤回答的是另一類問題,不能混用該定義。本文的 shuffle 是後者,只檢查明顯洩漏或偶然關聯,不報告論文選擇性分數。控制任務定義與選擇性
線性失敗也不意味著信息消失。例如兩個二元變量可以完整保留在輸入中,但“是否不同”需要非線性組合。高分支持給定協議下的可讀性,低分只說明當前探針、數據和優化預算沒有讀好。
官方代碼閱讀路線
先讀作者倉庫的 README:它把標註語料、磁盤表示、層編號、探針族和訓練設置放進配置。遷移真實文本時,應先核對句子索引與詞級表示是否一一對應,再比較層;分詞後長度對不上時,即使訓練能運行也可能學錯標籤。
然後進入 task.py 的 CorruptedPartOfSpeechLabelTask。prepare 彙總三個分區的詞類型頻率,_register_type 為詞類型生成固定隨機標籤,labels 執行替換。這裡還寫死了四十五類的詞性分佈。它是特定實驗的構造,不是可以原封不動套到任意標籤空間的通用接口;使用測試詞類型統計也必須在復現記錄中披露。
再看 probe.py 的 OneWordLinearLabelProbe:兩個線性層之間沒有非線性激活,因此推理時仍是仿射函數,瓶頸寬度約束有效矩陣的秩。實際輸入為批次×詞數×表示寬度,輸出保留類別軸;註釋中簡寫的輸出形狀不應替代對返回張量的檢查。相鄰的神經網絡探針加入 ReLU,表達能力隨之改變。
以上代碼已實際打開並靜態閱讀,均為主分支,未鎖定提交;動態兼容性待人工核驗。部分原始文件地址取回失敗後改讀可訪問的官方頁面,沒有把未讀取的訓練器寫成已核驗實現。本篇 NumPy 腳本是獨立教學實現,並未運行官方環境。
最小實驗與實際結果
主任務是選擇器:輸入 ,當 時輸出 的正負,否則輸出 的正負。另有兩個標準差為 的高斯噪聲座標,組成五維輸入。未選變量是另一項,例如選擇 時就是 ;它不是固定的某一輸入列。
沿用《Activation Patching:恢復答案之後,能否說找到了機制?》已訓練的三個小網絡,結構為五維輸入、兩層十六維 tanh、二類輸出,共四百零二參數。tanh 是雙曲正切非線性函數。檢查點已原樣複製到本篇,記錄文件哈希,運行不依賴其他目錄。模型種子為 76、77、78,本次只訓練探針。
新數據種子為 770,訓練、驗證、測試分別五百一十二、二百五十六、五百一十二條。各分區覆蓋相同八種核心規則,噪聲樣本不同;這不是未見組合泛化。輸入、第一層、第二層分別產生寬度五、十六、十六的表示,測試緩存形狀為 [512,5] 或 [512,16]。
每層分別預測主任務、未選變量和隨機標籤。均值與標準差只從訓練表示估計,再應用於其他分區。四個懲罰係數為零、千分之一、百分之一、十分之一;探針從零初始化,全批次梯度下降固定兩千步,以驗證集負對數似然選擇係數。負對數似然衡量模型給正確標籤分配的概率,越低越好;測試集不參與選擇。執行命令為:
python3 code/probe_numpy.py
python3 code/audit_results.py
依賴、檢查點來源和文件說明見 code/README.md。本次實際使用 Python 3.12.14、NumPy 2.3.5、CPU 雙精度。下表為三個主模型種子的測試準確率均值;隨機標籤為一次固定打亂,沒有重複抽取隨機標籤分佈。
| 表示 | 主任務 | 未選變量 | 隨機標籤 |
|---|---|---|---|
| 原始輸入 | 0.7363 | 0.7363 | 0.4902 |
| 第一隱藏層 | 1.0000 | 1.0000 | 0.4668 |
| 第二隱藏層 | 1.0000 | 0.9987 | 0.4609 |
本次實際驗證:第二層未選變量準確率的種子標準差為 ;原始輸入三行實驗實際上使用同一表示,其零標準差不代表獨立重複的穩定性。第一層兩個屬性都可完全讀出,不能據此宣佈主模型同等依賴兩者。
翻轉每條測試輸入的未選變量後,三個模型的答案變化率均為零,主任務準確率仍為一。但最大 logit 變化分別約為 、、。logit 是概率歸一化前的分數;答案不變不是整個輸出函數不變,更不能直接推出所有內部通路都忽略該變量。
評測協議與獨立審計
為了進一步分離讀出與行為,在第二隱藏層做一個精確定義的投影。設主模型最後的讀出矩陣為 ,其列空間的正交基為 ,令 ,則:
這裡 , 為十六階投影矩陣, 是原模型偏置。被移除的方向屬於輸出零空間,即變化不會傳到這個線性讀出。基由模型權重計算,不使用探針標籤;等式只依賴最後一步線性,不能移植到任意中間層後就假定成立。
本次實際驗證:投影前後兩個 logits 的最大誤差低於 ;原來訓練好的未選變量探針,投影后準確率分別為 、、。原模型輸出不變,原探針卻讀不好了。作者推斷:原探針依賴了被投影改變的表示方向;這不是已經完全擦除屬性信息的證明,因為本次沒有在投影后重新訓練探針。
所有候選權重、所選權重、歸一化統計、逐例分數及干預輸出都保存於 code/results/。獨立審計不導入訓練腳本,以標量循環重算三萬四千五百六十個探針預測,複核驗證集選參、均值和樣本標準差,最大數值差約為 。六個邏輯迴歸參數的有限差分梯度檢查誤差約為 ;凍結權重及投影恆等式檢查通過。
複核表格時要同時打開逐例記錄。例如第二隱藏層的未選變量並非每個種子都滿分,均值中的微小下降來自具體錯例,不能四捨五入後抹去。隨機標籤低於二分之一也不是有意義的反向規律:本次只固定了一次打亂,不能看到測試成績後再翻轉預測或重新挑種子。若要判斷控制分數是否異常,應預先增加獨立打亂次數並報告分佈。
此外,五百一十二條測試數據只有八種核心模式。同一模式下的噪聲變體共享決策結構,逐條自助抽樣可能讓不確定性看起來過小。確認性實驗應以規則或模板為單位留出,明確說明哪些變化來自主模型初始化,哪些來自數據採樣。
失敗排查與因果邊界
高分異常時先查標籤有沒有混進輸入、近重複是否跨分區、標準化是否偷看測試集。低分則先查標籤與表示順序、類別平衡、訓練損失和優化預算。本次保存最終梯度範數,固定步數不等於所有目標都已達到嚴格最優,尤其無懲罰且線性可分時不能宣稱得到有限最優權重。
比較層時還要控制表示寬度和參數量。本例輸入探針有六個參數,隱藏層探針有十七個;因此原始輸入與隱藏層的差距不能全部歸因於層的位置。沒有加入隨機初始化編碼器對照,也不能據此量化主任務訓練貢獻了多少信息。
真實文本應按文檔、實體或模板做分組劃分,記錄子詞聚合方式,並同時報告多數類、詞身份等基線。本例只檢驗八種規則內的新噪聲,不能替代自然語言泛化評估。三個模型種子的標準差也不是覆蓋數據變化的置信區間。語言模型、官方語料和分組遷移均未運行,待人工核驗。
後續科研問題
第一,固定表示,增加訓練樣本並改變懲罰強度,層間排名是否穩定?應預先固定搜索預算,同時畫真實標籤和控制標籤的學習曲線,避免只報告最好看的單點。
第二,投影后重新訓練探針,還能恢復多少屬性?若新探針仍成功,應區分原讀出器失效與信息不可恢復,再引入不同探針族驗證。
第三,在未見規則或新文本模板上,探針發現能否預測干預效果?先用發現集提出屬性與層的假設,再凍結方案到獨立確認集檢驗,保留答案不變但分數移動的失敗邊界。
總結
探針測量的是給定數據、表示和訓練預算下的可解碼性。本文跑通線性讀出、隨機標籤檢查、反事實輸入和輸出保持投影,展示了把高分寫成因果結論時缺少的證據。讀者下一步應先補充分組泛化與投影后重訓,再討論模型是否真正使用某項信息。
參考資料
以下一手來源均於 2026-09-18 實際打開;論文使用會議定稿,倉庫使用檢索當日主分支。
- John Hewitt、Percy Liang. Designing and Interpreting Probes with Control Tasks. EMNLP-IJCNLP 2019;全文。
- Abhilasha Ravichander、Yonatan Belinkov、Eduard Hovy. Probing the Probing Paradigm: Does Probing Accuracy Entail Task Relevance?. EACL 2021;全文。
- Hewitt 與 Liang 官方實現:倉庫與配置說明、任務構造、探針實現。