
復現價值:先檢查尺子,再討論模型
上一項基線把一個直覺落到了真實日誌上:DistilBERT 對固定的256條情感文本答對233條,平均置信度卻約為98.17%。現在保持每條預測不動,只改變統計方式。問題很具體:同一批概率,用五個箱和二十個箱測量,校準誤差會差多少?如果換一把尺子就能得到更漂亮的數字,報告者應該交代哪些信息?
這裡的校準,是讓一組相近置信度預測的平均正確率與其平均置信度相符。它不意味著某一條九成把握的句子存在可直接觀測的“九成正確性”。單條記錄只有此次預測對或錯;概率與頻率的關係要藉助群體及抽樣假設討論。本篇新增的產物是分箱敏感性表、全部配對抽樣索引、逐箱統計和獨立復算記錄,不是再訓練一次模型。
論文報告:Guo等在2017年討論了現代神經網絡的校準及溫度縮放,並用分箱統計衡量預測置信度與準確率的偏離。本次實際驗證:僅在固定公開檢查點的256條探索預測上比較四種等寬分箱。作者推斷:解釋觀察到的抵消與稀疏現象,可以幫助設計後續概率質量實驗;這些結果不代表所有模型,也沒有復現論文的完整實驗矩陣。
核心思想:絕對值放在哪裡很重要
期望校準誤差通常簡稱 ECE。把置信度從零到一劃成若干等寬區間,在每個區間比較平均概率和正確率,再按樣本數加權。它是一種有限樣本統計量,其值依賴分區方式。
這裡, 是箱數, 是總樣本數, 是第 箱的樣本數; 是箱內平均最大類別概率, 是箱內預測正確指示值的均值。輸入 logits 的形狀為 ,經過 softmax 後沿類別維取最大值,得到長度為256的置信度向量。空箱沒有可估計的正確率,保存為空值,對加權和貢獻零,不能顯示成“準確率為零”。
這與先求所有樣本的有符號平均差再取絕對值不同。若同一個箱裡同時存在過度自信和不夠自信的樣本,它們可能相互抵消;拆成兩個箱後再分別取絕對值,抵消可能減少。對嚴格嵌套的分區,三角不等式給出:
其中, 是原箱, 遍歷將它完整劃分的子箱, 為置信度, 為零或一的正確性。五箱細分成十箱、十箱細分成二十箱滿足這一結構,所以精確算術下 ECE 不會下降。但十五箱與十箱不構成這種細分關係,不能只憑箱數較多推斷數值大小。浮點誤差還可能製造極小的負差,必須與真正的統計差別區分。
官方代碼閱讀路線
從論文的定義和公式開始,再看作者倉庫的 _ECELoss:它先從 logits 計算 softmax,再取最大類別概率和 argmax;隨後構造等寬邊界,用每箱比例乘絕對均值差。固定提交的默認參數是十五箱,區間採用左開右閉。本地沿用基線的左閉右開約定,最後一箱包含右端點;本次四種分箱均無樣本恰好落在內部邊界,因此這裡的端點約定不解釋觀察差異。
源碼地圖明確了區別:神經網絡前向來自固定版本 Transformers;基礎推理與輸入校驗模塊沿用上篇已公開源碼;分箱對照、配對抽樣和審計是本篇獨立教學實現。沒有把作者 GPU 溫度擬合流程改個文件名就稱作本次實驗,也沒有執行溫度擬合。閱讀順序建議為協議、配置、測量函數、獨立檢查、繪圖腳本,最後回看模型前向和原始日誌。
最小實驗:只改變一個變量
模型固定為 DistilBERT SST-2 檢查點,模型 revision 為 714eb0fa89d2f80546fda750413ed43d93601a13,數據 revision 為 8d51e7e4887a4caaa95b3fbebbf53c0490b58bbb。驗證集按既定身份哈希排序,前256條是探索池;另外256條校準池和360條協議審計池均不在本篇推理。SST-2在歷史系列中使用過,檢查點作者也報告過該驗證集結果,不能將它包裝成未見測試。
四個候選箱數為5、10、15、20,運行分析之前寫入配置與協議。十箱用於銜接基線,十五箱便於理解作者實現的默認口徑;四項全部報告,不根據結果選一個“最可信”的箱數。凍結標籤映射、樣本順序、模型概率、截斷、精度和設備條件。沒有新標籤、沒有人工語義分類,也沒有訪問IMDb。

正式分析複用上一項真實推理的逐樣本 logits 與概率,文件身份通過 SHA-256 鎖定。本次另外實際執行了八條原探索樣本的 CPU 推理重放,用來檢查源碼仍可運行。它不是新增八條測試數據,也不增加正式比較的分母。推理為 float32、四線程,輸出形狀為八行二列;前向耗時約0.070秒,導入後流程約0.605秒,進程峰值常駐內存約800MB。完整256條正式推理的原始日誌隨源碼保留,不能把舊日誌日期冒稱今天的新運行。
評測協議與實際結果
配對自助重採樣的意思是:每次從256個樣本索引中有放回抽取256次,四種分箱共同使用這一份索引。固定種子113,重複2000次,保存每次索引及四個 ECE。區間使用排序後線性插值的2.5%和97.5%分位數。這樣比較的是相同抽樣擾動下的分箱差別,避免四種方法各抽各的而混入額外噪聲。
| 等寬箱數 | ECE | 重採樣95%區間 | 非空箱數 | 最右箱樣本數 |
|---|---|---|---|---|
| 5 | 0.082843 | [0.050882, 0.117772] | 3 | 248 |
| 10 | 0.083705 | [0.053621, 0.119951] | 5 | 242 |
| 15 | 0.083705 | [0.055056, 0.120464] | 6 | 238 |
| 20 | 0.083705 | [0.055361, 0.120251] | 8 | 233 |
二十箱減五箱為0.000862,約0.0862個百分點;配對區間約為[0,0.012778],原始下端是浮點量級的負數。不能根據這個結果宣稱分箱造成了巨大的校準變化,也不能把四個高度重疊的單獨區間當作正式的差異檢驗。十、十五、二十箱的點估計相同,並不意味著逐箱組成相同。日誌顯示,五箱中置信度位於0.6至0.8的七條預測,平均有符號差約為負0.138;拆成十箱後,三條低側樣本的差約為負0.359,四條高側樣本的差約為正0.028。正負抵消減少,解釋了這次小幅增加;繼續細分沒有引入新的相反符號抵消變化。

左圖來自保存的重採樣結果;右圖展示二十箱下全部非空箱,標註分母,並繪製正確率的逐箱 Wilson 區間。所有圖中數字都由日誌生成,方法示意圖的圖標不承擔定量證據。二十箱的非空箱分母依次為1、2、1、4、3、3、9、233,合計256條。
失敗排查:小箱不是更細緻的真相
最重要的排查順序不是先調圖的樣式,而是確認概率對象、分母和邊界。先核驗概率由同一組 logits 得到,預測類別與正確性映射一致;再確認各箱樣本數之和仍是256,每條樣本恰好歸入一個箱。二分類最大概率至少為二分之一,前半段的大量空箱是結構現象,不是數據丟失。直接刪掉空箱後把其餘箱重新等權平均,會悄悄換掉指標。
接著看每箱證據。一個只有一條樣本的箱,其觀測正確率只能為零或一;畫成精確的點而不標分母,很容易誇大解釋。Wilson 區間只針對箱內正確率,不是平均置信度的區間,更不是整個校準函數的同時置信帶。本文采用獨立行重採樣;若文本間存在相關性或近重複,區間可能低估不確定性,因此這裡只將它作為在經驗數據分佈下的敏感性說明,不宣稱覆蓋率保證。
獨立腳本沒有導入測量函數,而是從兩維 logits 重建概率和預測,使用區間比較重新分箱,用有符號殘差之和計算 ECE,再逐個核對8000個重採樣值及區間端點。輸入哈希、腳本、命令、退出碼均保留。這是自動算術核驗,不是人工金標或語義審核。分析耗時約4.45秒、峰值常駐內存約63.7MB;統計與模型推理資源分別記錄,繪圖資源未單獨測量。
源碼與復現入口
已公開並匿名核驗固定版本源碼目錄、README和SOURCE_MAP。本篇提供完整推理入口、固定資源獲取與校驗模塊、統計腳本、繪圖腳本、依賴記錄及源碼地圖。最小命令如下,在源碼目錄執行即可,無需重新下載模型:
python analyze.py && python check_analysis.py
預期得到四種分箱的結果、全部重採樣索引和獨立審計記錄。需要驗證真實模型路徑時,按 README 獲取固定資源後運行八條 smoke;下載緩存必須通過資源鎖校驗。包內不分發原始情感文本或模型權重,也不依賴作者電腦上的絕對路徑。代碼與統計記錄可公開瀏覽,壓縮包只承擔本地歸檔,不作為博客唯一源碼入口。
還要防止把重採樣誤認為重新收集數據。抽樣索引出現重複是算法設計的一部分:同一行在某次重複中被抽中三次,就貢獻三次權重;沒有被抽中的行暫時不貢獻。它沒有創造新的獨立文本,更不能補回原數據沒有覆蓋的語言風格。保存全部索引的好處是,別人可以不相信隨機數生成器的版本承諾,直接用同一份索引複核每一個統計值。
另一個值得保留的負結果是,分箱變細以後,總體指標幾乎不動,最右箱的準確率卻從約九成一變成約九成四。這不是同一群樣本變得更可靠了,而是區間從較寬範圍縮到更高置信度範圍,成員已經更換。因此跨分箱比較某個“最後一箱”的正確率時,不能套用同一群體的解釋;需要同時展示邊界、身份和數量。所有逐箱成員都能從公開概率與明確邊界恢復,無需分享原始句子。
對於工程讀者,最實用的交付約定是讓指標名稱攜帶協議:說明是最大類別概率校準、等寬分箱、樣本加權以及端點歸屬。對於研究生,更關鍵的是說明估計對象:這裡估計的是模型在這份經驗樣本上的分箱偏差,不是潛在總體校準函數的精確積分。擴大數據後是否保持相同結論,仍須新實驗檢驗。
研究問題與總結
這個受控對照沒有發現分箱選擇能大幅改變本組 ECE,但發現了高置信樣本高度集中、低分母區間解釋脆弱的明確邊界。後續可檢驗的問題是:當預測類別保持不變、只改變概率分佈時,負對數似然與 Brier 分數是否給出相同排序?這個問題需要預先指定變換,並完整報告候選,而不是先改概率再挑最支持結論的度量。
本篇能留下的結論有限而清楚:同一組預測的 ECE 依賴統計協議;本次五箱與更細箱的差別很小,細分也沒有帶來可靠的新樣本證據。研究記錄應同時保存概率、分母、區間約定、抽樣方法和失敗邊界,讓讀者能改動測量協議獨立復算,而不是隻接收一個保留三位小數的結論。
參考資料
檢索與代碼核驗日期:2026-10-29。
- Guo, Pleiss, Sun, Weinberger. 2017. On Calibration of Modern Neural Networks,ICML/PMLR。本文依據其分箱指標定義,不聲稱重現全部實驗。
- Geoff Pleiss,論文作者 temperature_scaling 固定提交源碼,MIT許可;默認箱數與區間比較對應此實現。
- Hugging Face,DistilBERT SST-2 固定模型卡,檢查點身份、標籤與任務範圍。
- Stanford NLP,SST-2 數據固定版本,數據劃分與獲取入口;原始文本不隨本篇分發。
作者作品推廣
以下是作者自有產品推廣。除了寫科研博客,我也獨立開發日常小工具,歡迎按自己的需要了解:日常收支小記用於記錄收支、安排預算與儲蓄目標,在 App Store 瞭解;一事微光幫助根據時間和精力選擇小行動,並記錄完成後的感受,在 App Store 瞭解。更多技術文章和個人作品可訪問作者網站。這些作品與本篇實驗結論相互獨立,不代表論文作者或研究機構的推薦。