
- 日期:2026-09-20
- 讀者:研究生、科研新人和工程型研究者
- 復現範圍:合成二分類上的溫度擬合、校準指標與拒答協議;不復現原論文榜單。
摘要
模型給出九成把握,究竟表示什麼?置信度校準討論的是:在許多相似分數的預測中,實際正確比例是否接近這個分數。它不承諾某一道題一定正確,也不等於模型知道自己為什麼錯。本文從兩篇論文和作者代碼出發,用一個凍結的解析打分器驗證溫度縮放,再將分數接到拒答規則。實際結果顯示,校準誤差下降、固定閾值下風險下降,都可能伴隨更低的回答覆蓋率;條件分佈改變後,原閾值也可能失效。
目錄
- 復現價值與論文假設
- 核心思想與公式
- 官方代碼閱讀路線
- 最小實驗與運行方法
- 評測協議
- 實際結果與解釋
- 失敗排查與證據邊界
- 後續科研問題
- 總結與參考資料
一、復現價值與論文假設
論文報告。 Guo、Pleiss、Sun、Weinberger 的 ICML 2017 論文研究神經分類器的概率校準,提出用單個溫度參數做後處理,並在所測圖像和文本任務上報告有效性。這是特定模型、數據和劃分下的證據,不能直接替代今天任意大模型的測量。論文與全文
Geifman 與 El-Yaniv 的 NIPS 2017 工作討論選擇性分類:允許模型拒絕一部分輸入,交換更低的接受集錯誤率。其風險控制論證依賴同分布獨立採樣等條件,還涉及統計上界。低 ECE 本身不構成這樣的保證。論文全文
本次目標。 不訓練大型網絡,直接構造可追溯的分數失真,回答三個問題:能否恢復合理概率;是否改變預測答案和樣本排序;校準集上的改進是否足以支持測試集拒答。這樣做減少訓練噪聲,代價是不能據此判斷真實網絡為何過度自信。
二、核心思想與公式
logit 是歸一化之前的類別分數。對樣本的分數向量除以正溫度,再經過 softmax,得到類別概率:
這裡分數矩陣為 [n,K],標籤為 [n],溫度是標量;負對數似然 NLL 衡量給真實標籤分配的概率。本次只用校準集擬合溫度,原始分數保持不動。正溫度不會改變單個樣本的最大分數類別;但這不意味著所有樣本之間的最大概率排序都不變。公式來源
令置信度為最大類別概率,把它分進等寬區間,期望校準誤差 ECE 的樣本估計為:
B_m 是第幾個分數箱對應的樣本集合,兩個均值分別是箱內準確率和置信度;空箱貢獻零。它是經過分箱的總體摘要,不是單條預測的可靠性標籤。本次保存每箱樣本數,並同時計算 NLL 和兩類別概率平方誤差之和,即本文采用的 Brier 分數。
拒答規則則是隻接受置信度不低於閾值的樣本:
C 是覆蓋率,R 是接受集錯誤率,閾值為標量。沒有任何樣本被接受時,風險沒有定義,代碼寫入 null,不能用零冒充成功。
三、官方代碼閱讀路線
先讀作者溫度縮放倉庫的維護說明,再打開 temperature_scaling.py。沿著三個入口看:temperature_scale 廣播標量併除 logits;set_temperature 在評估模式、無梯度狀態收集驗證分數,再讓 LBFGS 只更新溫度;_ECELoss 按左開右閉區間計算加權誤差,默認十五箱。
這裡輸入必須是 logits,不能把已經歸一化的概率當分數再做一次 softmax。當前源碼還有顯式 CUDA 調用,溫度本身是直接聲明的參數,沒有正值重參數化。本地實現改用正的逆溫度區間求根;這是算法層面的對應,沒有宣稱運行舊版官方環境。兩個倉庫均按檢索時的 master 閱讀,未鎖定提交,後續版本兼容性待人工核驗。
再讀選擇性分類倉庫和 risk_control.py:先確認 residuals 中一代表錯誤,再追蹤排序、候選閾值與二項分佈上界。本文采用的經驗風險網格選擇沒有實現該上界,不能借用論文的高概率保證。
四、最小實驗與運行方法

圖中的三個數據入口分別承擔擬合溫度、選擇閾值和最終評估;測試標籤不會迴流到前兩步。鎖表示溫度與閾值已經凍結,右側是兩個不同的評估視角,不是保證通過的認證。
本次構造三維標準正態輸入,令線性信號為 s=1.5x₁−0.8x₂+0.5x₃。同分布標籤按 sigmoid(s) 抽樣,凍結打分器輸出 [0,3s],人為放大三倍造成過度自信。這個數據機制下溫度三有明確意義,但有限校準樣本估計不會恰好等於三。
分佈變化組保持輸入分佈不變,只把標籤概率改為 sigmoid(0.5s−1),即條件分佈發生變化。這不是隨機打亂標籤,也不是自然語言領域遷移。設置在查看結果前固定;沒有根據測試分數修改係數或挑種子。
每個種子生成校準集、閾值集各一千零二十四條,以及同分布、變化分佈測試集各四千零九十六條;種子固定為 78、79、80。每組數據獨立生成並檢查完整輸入行不重複。沒有模型訓練集,因為打分函數預先指定,唯一擬合參數是溫度。
在文章目錄運行:
python3 -m pip install -r code/requirements.txt
python3 code/calibration.py
python3 code/audit.py
依賴與文件解釋見 運行說明。實際環境為 Python 3.12.14、NumPy 2.3.5、CPU、雙精度。程序打印 [1024,2] 分數與 [1024] 標籤形狀;逆溫度在固定正區間內二分八十步求 NLL 導數的零點,保存軌跡。若根不在區間內會報錯,避免靜默輸出邊界解。
五、評測協議
先擬合溫度,再分別對原始分數和校準分數在閾值集上掃描 0.50…0.99,步長零點零一。要求至少接受一百條且經驗風險不超過一成,從可行候選中選擇覆蓋率最大者;無解則全部拒答。這裡的一成只是選擇條件,不是測試風險承諾。
兩種策略凍結後,同時報告完整測試集準確率、NLL、Brier、五/十/十五/三十箱 ECE。對拒答,既報告統一的數值閾值零點九,也報告各自選出的閾值,始終成對報告風險和覆蓋率。日誌保存接受數、錯誤數和每條預測,避免只剩一個漂亮比例。
不要把校準集上的擬合損失直接當作泛化成績。本文將溫度擬合與閾值選擇分開,仍然不能消除反覆比較閾值帶來的選擇偏差;最終成績只在獨立測試集讀取。若以後增加校準方法,方法選擇也需要額外驗證數據或嵌套劃分,不能在當前測試集上挑最低 ECE 的方案。
二分類正溫度縮放保持絕對 logit 差的順序,因此按置信度排名截取相同數量樣本,接受集合應一致。程序逐條比較排序和整條風險—覆蓋率曲線;這個檢查可以分辨概率刻度改善與篩選能力改善。多分類不能套用這一結論。
六、實際結果與解釋
本次實際驗證。 三次擬合溫度為 2.7000、3.0224、3.0529。下表是三種數據種子的算術平均,誤差項是種子間樣本標準差,不是置信區間;完整結果見 實驗記錄。
| 測試分佈與分數 | 全集準確率 | NLL | 十五箱 ECE |
|---|---|---|---|
| 同分布,原始 | 0.7558 | 0.7202 | 0.1451 ± 0.0016 |
| 同分布,校準 | 0.7558 | 0.4958 | 0.0174 ± 0.0058 |
| 條件變化,原始 | 0.6363 | 1.3834 | 0.2671 ± 0.0088 |
| 條件變化,校準 | 0.6363 | 0.7192 | 0.1310 ± 0.0120 |
固定閾值零點九時,同分布風險從 0.1623 降至 0.0579,覆蓋率同時從 0.6799 降至 0.2206。校準後並沒有突然會做更多題,而是同一個數值門檻變得嚴格。實際排序完全一致,相同覆蓋率下風險曲線重合。
獨立閾值集選出的校準閾值為 0.85、0.77、0.83,同分布測試風險平均 0.0987,覆蓋率 0.4032。但種子 79 的風險為 0.1168,已經高於選擇時的一成條件;不能用總體均值掩蓋它。遷移到條件變化測試集後,平均風險升至 0.2769,覆蓋率仍有 0.4176。
原始分數在種子 80 的預設網格中沒有可行閾值,因此該策略覆蓋率為零、風險未定義;更靠近一的閾值沒有搜索,不能斷言所有閾值都無解。這個差異還提醒我們:相同數值網格不代表相同候選接受集合,不能僅據網格結果宣佈校準改善了排序。
七、失敗排查與證據邊界
先查統計定義。 附帶二十條手工樣例:十條置信度為零點六、九條答對;另十條置信度為零點九、六條答對。合成一個箱時 ECE 約為零,十箱時卻為零點三。誤差在大箱內相互抵消,足以說明單一分箱結果會隱藏問題;這不是本次模型的測試數據。
再查不變量。 溫度為正時答案改變,應檢查溫度符號、類別軸、標籤映射或浮點並列。多分類樣例 [2,0,0] 與 [1.5,1.4,-10] 在溫度一時最大概率分別約 0.787、0.525,溫度十時約 0.379、0.434,跨樣本順序反轉,卻沒有改變各自預測類別。
最後查證據範圍。 兩個腳本通過語法和 CPU 檢查;獨立標量審計重算保存的概率、各箱指標、閾值選擇與風險曲線。開發時彙總器曾嘗試對未定義風險取均值,已修正為保留空值,並記錄有效種子數。詳見 驗證記錄。
另外,生成標籤的概率是實驗者已知的,但溫度擬合只讀取抽樣標籤,不能偷看真實概率。這保留了有限樣本估計的不確定性。三組種子一起改變了輸入和標籤,因此標準差描述的是本合成機制下的重複採樣變化,不能解釋成真實任務上的穩定性保證。
本次沒有執行官方網絡、真實數據集、GPU 或自由文本回答評測,也沒有實現帶置信上界的拒答算法。大模型自述“有九成把握”、某個 token 的概率和整段答案正確率是不同對象,遷移實驗前必須先固定預測單位和正確性標籤。
八、後續科研問題
作者推斷。 下一步優先保持模型凍結,換入真實分類 logits,按來源、時間或主體分組劃分數據,考察校準誤差是否集中在小群體。需要保留組內樣本量,避免把少量錯誤解釋成穩定規律。
這些方向還需要區分總體校準與條件校準。即使整體分數對得上,也可能存在某一類別過度自信、另一類別不夠自信的抵消。可以先報告預測類別或數據來源分組的可靠性表,再討論是否需要分別擬合;分組參數更多,必須同步評估小樣本過擬合。
第二步可在相同候選接受集合上比較經驗閾值選擇和統計風險上界,分別記錄可行率、覆蓋率與獨立測試風險。第三步再研究多分類樣本排序反轉是否改變拒答效果。每一步只改變一個因素,才能判斷收益來自概率校準、篩選順序還是閾值搜索範圍。
九、總結
溫度縮放是理解校準的好入口:參數少、原理清楚、容易檢查。但 ECE、完整集準確率和接受集風險回答不同問題。可複用的研究產物應同時保留溫度擬合軌跡、分箱計數、閾值選擇依據、逐樣本預測和分佈變化結果,讓“分數更合理”成為可檢查的陳述。
參考資料
以下一手來源均於 2026-09-20 實際檢索並打開;倉庫 master 未鎖定提交,動態版本待人工核驗。
- Chuan Guo, Geoff Pleiss, Yu Sun, Kilian Q. Weinberger. On Calibration of Modern Neural Networks. ICML 2017, PMLR 70:1321–1330。會議頁;全文。支撐校準定義、溫度目標與分箱指標。
- 作者官方 temperature_scaling 倉庫;核心源碼。支撐維護狀態、logits 輸入、溫度優化和區間邊界閱讀。
- Yonatan Geifman, Ran El-Yaniv. Selective Classification for Deep Neural Networks. NIPS 2017。會議頁;全文。支撐風險、覆蓋率及同分布保證的條件。
- 作者官方 selective_deep_learning 倉庫;risk_control.py。支撐經驗錯誤與二項上界的區別。