可信預測實驗室:從模型置信度到可檢驗的拒答

同一個樣本,兩個看似矛盾的結果
在這次審計中,編號 382 的短評排在第 270 位。模型原先給自己的答案打了 0.99695 分,做過溫度縮放後只打了 0.91150 分。如果只接受置信度達到 0.99 的回答,這條短評會從接受變成拒答。如果要求模型恰好回答四分之三的問題,它兩次都會入選,而且兩次都是最後一個入選。數據、答案和標籤都相同,究竟該說拒答策略變了多少?
這個區別值得單獨做一次實驗。上一篇在校準池鎖定閾值,再去審計池看它實際接住多少錯誤。這一篇把閾值放到一邊,先給兩組完全相同的回答名額,逐個檢查名額交給了誰。研究問題很窄:對於同一個二分類器,一個從其他樣本上學到的全局溫度,能否把更可能答錯的句子往隊尾多推幾位?如果真能,讀者應該可以指出第一個交換了位置的樣本。
兩種讀數測的是什麼
置信度是預測類別得到的概率。校準考察概率的數值是否與長期頻率相稱。假如一批難度不同的題都得到九成把握,可以觀察這批題實際答對的比例。單獨拆出一道題,只能看到一次對或錯。換一個問題,給一疊答卷排隊,只取隊首的一部分,希望拿到的錯題越少越好。這時把每個分數都寫得更保守,未必改變隊伍的先後。
Guo、Pleiss、Sun 和 Weinberger 在現代神經網絡的校準研究中報告,訓練完成後再擬合單個溫度,可以改善他們測試的多種網絡的概率估計。本篇借用其變換形式,在已存檔的情感分類器上測兩個具體讀數。負對數似然取每條樣本真實類別概率的負對數再平均,模型越自信地答錯,代價越大。另一個讀數是期望校準誤差的分箱估計:在概率軸上均分十箱,每箱比較平均置信度和實際正確率,取差的絕對值後按箱人數加權。空箱貢獻為零。兩者衡量的性質不同,本文按預設口徑一起報告。
選擇性分類則給模型配一條接受規則。按照 Geifman 和 El-Yaniv 的定義,覆蓋率是在全部待答樣本中接受的比例,選擇性風險是在接受樣本上計算的損失。本文用錯一條記一分的損失,它就是條件錯誤率。只接一道題時,錯一道對應百分之百的風險;全都拒絕時分母為零。畫圖時把後一種情況留空,才不會把完全不作答畫成完美成績。
為什麼二分類可以預言整條曲線
分類頭對每個句子輸出兩個尚未歸一化的實數,稱為 logits。用兩個數的差表示證據偏向哪一側,再用溫度調整兩側的相對強度。取概率較大的類別,它的置信度可以寫成
這裡 是樣本編號, 和 分別屬於負面和正面類, 是不帶方向的分差, 是所有樣本共用的正溫度。把兩項都除以正數不會交換它們的大小,預測標籤保持。更重要的是,如果甲的分差大於乙,把兩者除以同一個正數後,甲的分差仍然更大。代入上式,甲的置信度也仍然更大。兩條分差剛好相等時,兩種溫度下都是平手;本實驗約定平手按樣本編號升序。
從這個關係到拒答,只差一步。對任意給定的名額數,把原始隊列和新隊列各截取同樣長的前綴。兩段包含相同的身份,每個身份的預測類別也沒有變,逐條對照官方標籤,錯誤總數就相同。即使某個前綴恰好沒有錯誤,這個推理也成立。它預言的是所有名額數上的一致性,檢查某個好看的點或比較兩條曲線的平均值,都不足以代替這一檢驗。

數據登記與最小實驗
輸入是固定版本的 DistilBERT 英文 SST-2 情感分類檢查點,類別零為負面、一為正面。系列開始時已按樣本身份的哈希順序登記驗證集,前二百五十六條用於探索,隨後二百五十六條用於校準,剩餘三百六十條用於協議審計。整個驗證集在歷史系列中已有接觸,審計池也已在前文觀察過。這些數據適合核查明確的數學預言,不能承擔獨立確認一個新發現的角色。此次沒有訪問 IMDb,也沒有引入需要真人判斷的新標籤。
預先鎖定兩組溫度:原始組取一,縮放組直接讀取先前用校準池最小化平均負對數似然得到的 2.481924。審計標籤只在判斷答對與否和計算損失時使用。程序另行核對兩池身份互斥、溫度文件內的校準預測哈希,並從校準樣本重算逆溫度處的目標函數梯度。這樣可以區分“讀到了同一個參數文件”和“這個文件裡的數值與這批校準數據相符”。全篇沒有搜索一個能讓審計曲線最好看的溫度。
真實模型先在中央處理器重放八句,檢查標籤映射、張量形狀、輸出有限性和資源佔用,再按每批十六句重放全部審計樣本。固定四線程、單精度、評估模式及五百一十二個詞元的截斷上限,使用同一份詞表和模型權重。每批分類頭輸出的列數必須是二;末批只有八行,按實際行數計數。正式批次前向及逐條整理共耗時約 1.29 秒,進程峰值內存約 899 MiB。這裡的計時從模型裝載後開始,不能當作首次下載和啟動的總耗時。
實測結果:先對齊名額,再看閾值
| 審計指標 | 原始分數 | 溫度縮放後 |
|---|---|---|
| 平均負對數似然 | 0.38411 | 0.23714 |
| 十箱校準誤差 | 0.07327 | 0.01990 |
| 固定接受 270 條時的錯誤數 | 8 | 8 |
| 所有非空前綴的平均風險 | 0.02124 | 0.02124 |
| 固定 0.99 門檻時的接受數 | 304 | 0 |
這三百六十個位置沒有一處交換,兩組都沒有同分。逐個核對所有非空前綴,累計錯誤數在每一處都一致。全收時均錯三十條,四分之三覆蓋時均錯八條。後一個結果的分母是二百七十,對應約百分之二點九六。它還告訴我們,被留在隊尾的九十條裡有二十二個錯誤。校準後的隊伍保留了這項篩分能力,也保留了排在前面的八個錯誤。

圖中橫軸是回答比例,縱軸是已回答部分的錯題比例。藍色實線和橙色虛線疊在同一條軌跡上。原始組達到 0.99 的位置用點標出;縮放組最靠前的樣本只有 0.97551,沒人達到這條線,因此沒有可畫的風險點。原始門檻下十四個錯誤除以三百零四約為百分之四點六一。把它與縮放組的零個接受錯誤直接比較,會悄悄丟掉分母,也會得到一個無法兌現的改進。
在本次實際驗證中,較低的負對數似然說明真實類別獲得的對數概率平均提高;較小的十箱誤差說明這次分箱下頻率與置信度更接近。這兩句都只談全體樣本的彙總。回到開頭那條預測正確的短評,給正確答案降分會使它自己的負對數似然上升。整體改善可以伴隨個體變差,正如平均風險相同也不足以單獨證明每個樣本的名次一樣。逐樣本記錄讓兩種推斷都可以直接檢查。
官方代碼閱讀路線與失敗排查
先讀官方分類頭的前向函數,看首詞元表示怎樣經過線性層、激活、丟棄層和最後的分類層。再讀校準論文作者實現的溫度縮放函數,它把溫度擴展到與輸出相容的形狀,再逐元素相除。最後才看本地評測腳本:從每行減去最大值以穩定指數運算,歸一化得到兩類概率,按未舍入的最大概率排序。這個先後順序可以防止把最大原始輸出誤當成置信度。給一句話的兩個原始輸出同時加上相同常數,概率不變,最大原始輸出卻會變。
如果復算得到名次變化,先找兩隊列第一次分叉的身份,把兩行原始差值和保存的分數打印到足夠多的小數位。只保留兩位小數會使許多接近一的概率看上去相等,隨後按身份破平手就可能改變次序。進一步檢查是否在縮放後先轉成低精度,或讓兩組使用了不同的分詞上限。前者會製造數值平手,後者會改變原始輸入證據。兩者都可以成為另一個有趣實驗,卻不能用來推翻這裡共享實數變換的推導。
本次八句試跑與歸檔輸出的最大絕對差約為 ,正式批次與歸檔逐值相同。小批次的數值偏差記錄在環境文件中,驗收時還逐條檢查預測類別、身份和文本摘要。獨立復算改用高精度十進制運算,從絕對分差直接求置信度,核查七百二十個分數與兩組各三百六十一個前綴記錄。原始句子沒有隨包分發,下載器會對數據文件和權重逐件檢查摘要;核驗失敗時應先查版本,不能換一份同名數據繼續算。
研究問題與總結
哪些修改值得在下一次實驗裡認真辨別?首先是每個樣本使用不同溫度的情形。兩個分差原本只差一點,如果較大分差恰好被更大的溫度相除,它有可能落到後面。其次是三個及以上類別的任務。此時最大類的概率還取決於所有競爭類的相對位置,單靠第一名和第二名的距離已無法還原分母。這是推導適用邊界提出的假設,本文沒有運行這些條件,也沒有根據審計池選出替代方案。
對希望複用舊閾值的研究者,還有一個可以用紙筆檢驗的問題。把舊概率門檻換算為所需的最小原始分差,再用新溫度把該分差換算回概率,就能在理想數值精度下保留相同的接受集合。這種換算只保持決定的一致性,新的樣本分佈仍可能改變所接問題的風險。讀實驗報告時,可以先找橫軸到底固定了什麼,再問接受集合是否變化,最後才解釋概率質量的變化。本次的結論落在同一個二分類器、共享正溫度和等覆蓋比較這三個條件上。
源碼與復現入口
固定版本已公開,可從本篇源碼目錄進入,按復現說明運行,或對照公式與官方代碼映射檢查實現。
在本篇源碼目錄執行 python run.py,可從固定預測重新生成逐樣本雙列分數、全部前綴和指標彙總;接著執行 python audit.py 走獨立復算路徑。要從權重開始重放,按說明先準備官方資源,再執行八句試跑和三百六十句正式運行。兩條路徑在本次均已執行,下載階段複用了逐件校驗過的緩存。
參考資料
檢索與版本核對日期為 2026-11-11。
- Guo 等,On Calibration of Modern Neural Networks,ICML 2017
- DistilBERT SST-2 官方模型卡與固定版本
- Stanford NLP,SST-2 數據集固定版本
- Hugging Face Transformers v4.49.0,DistilBERT 分類頭
- Geifman 與 El-Yaniv,Selective Classification for Deep Neural Networks,NeurIPS 2017
作者作品推廣
除了寫技術博客,我也在做一些讓日常更有條理的小工具,歡迎瞭解我獨立開發的兩款 App:
- 日常收支小記:記下收支,也給每一筆錢安排好去處。記錄日常賬目,安排預算與儲蓄目標。在 App Store 瞭解。
- 一事微光:從一件小事開始,讓今天多一點微光。按當下的時間和精力選擇行動,記錄完成後的感受與發現。在 App Store 瞭解。
更多技術文章和個人作品,歡迎來我的網站:zffjzz.top。也歡迎把使用感受告訴我,讓這些小工具慢慢變得更好。