可信預測實驗室:從模型置信度到可檢驗的拒答

兩排順序相同、照明不同的光學稜鏡

同一個樣本,兩個看似矛盾的結果

在這次審計中,編號 382 的短評排在第 270 位。模型原先給自己的答案打了 0.99695 分,做過溫度縮放後只打了 0.91150 分。如果只接受置信度達到 0.99 的回答,這條短評會從接受變成拒答。如果要求模型恰好回答四分之三的問題,它兩次都會入選,而且兩次都是最後一個入選。數據、答案和標籤都相同,究竟該說拒答策略變了多少?

這個區別值得單獨做一次實驗。上一篇在校準池鎖定閾值,再去審計池看它實際接住多少錯誤。這一篇把閾值放到一邊,先給兩組完全相同的回答名額,逐個檢查名額交給了誰。研究問題很窄:對於同一個二分類器,一個從其他樣本上學到的全局溫度,能否把更可能答錯的句子往隊尾多推幾位?如果真能,讀者應該可以指出第一個交換了位置的樣本。

兩種讀數測的是什麼

置信度是預測類別得到的概率。校準考察概率的數值是否與長期頻率相稱。假如一批難度不同的題都得到九成把握,可以觀察這批題實際答對的比例。單獨拆出一道題,只能看到一次對或錯。換一個問題,給一疊答卷排隊,只取隊首的一部分,希望拿到的錯題越少越好。這時把每個分數都寫得更保守,未必改變隊伍的先後。

Guo、Pleiss、Sun 和 Weinberger 在現代神經網絡的校準研究中報告,訓練完成後再擬合單個溫度,可以改善他們測試的多種網絡的概率估計。本篇借用其變換形式,在已存檔的情感分類器上測兩個具體讀數。負對數似然取每條樣本真實類別概率的負對數再平均,模型越自信地答錯,代價越大。另一個讀數是期望校準誤差的分箱估計:在概率軸上均分十箱,每箱比較平均置信度和實際正確率,取差的絕對值後按箱人數加權。空箱貢獻為零。兩者衡量的性質不同,本文按預設口徑一起報告。

選擇性分類則給模型配一條接受規則。按照 Geifman 和 El-Yaniv 的定義,覆蓋率是在全部待答樣本中接受的比例,選擇性風險是在接受樣本上計算的損失。本文用錯一條記一分的損失,它就是條件錯誤率。只接一道題時,錯一道對應百分之百的風險;全都拒絕時分母為零。畫圖時把後一種情況留空,才不會把完全不作答畫成完美成績。

為什麼二分類可以預言整條曲線

分類頭對每個句子輸出兩個尚未歸一化的實數,稱為 logits。用兩個數的差表示證據偏向哪一側,再用溫度調整兩側的相對強度。取概率較大的類別,它的置信度可以寫成

di=∣zi,1−zi,0∣,ci(T)=11+exp⁡(−di/T).d_i=|z_{i,1}-z_{i,0}|,\qquad c_i(T)=\frac{1}{1+\exp(-d_i/T)}.

這裡 ii 是樣本編號,zi,0z_{i,0} 和 zi,1z_{i,1} 分別屬於負面和正面類,did_i 是不帶方向的分差,TT 是所有樣本共用的正溫度。把兩項都除以正數不會交換它們的大小,預測標籤保持。更重要的是,如果甲的分差大於乙,把兩者除以同一個正數後,甲的分差仍然更大。代入上式,甲的置信度也仍然更大。兩條分差剛好相等時,兩種溫度下都是平手;本實驗約定平手按樣本編號升序。

從這個關係到拒答,只差一步。對任意給定的名額數,把原始隊列和新隊列各截取同樣長的前綴。兩段包含相同的身份,每個身份的預測類別也沒有變,逐條對照官方標籤,錯誤總數就相同。即使某個前綴恰好沒有錯誤,這個推理也成立。它預言的是所有名額數上的一致性,檢查某個好看的點或比較兩條曲線的平均值,都不足以代替這一檢驗。

同一批輸出分為原始與溫度縮放兩路,再比較樣本順序

數據登記與最小實驗

輸入是固定版本的 DistilBERT 英文 SST-2 情感分類檢查點,類別零為負面、一為正面。系列開始時已按樣本身份的哈希順序登記驗證集,前二百五十六條用於探索,隨後二百五十六條用於校準,剩餘三百六十條用於協議審計。整個驗證集在歷史系列中已有接觸,審計池也已在前文觀察過。這些數據適合核查明確的數學預言,不能承擔獨立確認一個新發現的角色。此次沒有訪問 IMDb,也沒有引入需要真人判斷的新標籤。

預先鎖定兩組溫度:原始組取一,縮放組直接讀取先前用校準池最小化平均負對數似然得到的 2.481924。審計標籤只在判斷答對與否和計算損失時使用。程序另行核對兩池身份互斥、溫度文件內的校準預測哈希,並從校準樣本重算逆溫度處的目標函數梯度。這樣可以區分“讀到了同一個參數文件”和“這個文件裡的數值與這批校準數據相符”。全篇沒有搜索一個能讓審計曲線最好看的溫度。

真實模型先在中央處理器重放八句,檢查標籤映射、張量形狀、輸出有限性和資源佔用,再按每批十六句重放全部審計樣本。固定四線程、單精度、評估模式及五百一十二個詞元的截斷上限,使用同一份詞表和模型權重。每批分類頭輸出的列數必須是二;末批只有八行,按實際行數計數。正式批次前向及逐條整理共耗時約 1.29 秒,進程峰值內存約 899 MiB。這裡的計時從模型裝載後開始,不能當作首次下載和啟動的總耗時。

實測結果:先對齊名額,再看閾值

審計指標 原始分數 溫度縮放後
平均負對數似然 0.38411 0.23714
十箱校準誤差 0.07327 0.01990
固定接受 270 條時的錯誤數 8 8
所有非空前綴的平均風險 0.02124 0.02124
固定 0.99 門檻時的接受數 304 0

這三百六十個位置沒有一處交換,兩組都沒有同分。逐個核對所有非空前綴,累計錯誤數在每一處都一致。全收時均錯三十條,四分之三覆蓋時均錯八條。後一個結果的分母是二百七十,對應約百分之二點九六。它還告訴我們,被留在隊尾的九十條裡有二十二個錯誤。校準後的隊伍保留了這項篩分能力,也保留了排在前面的八個錯誤。

從逐前綴記錄繪製的風險曲線,兩種溫度的曲線重合

圖中橫軸是回答比例,縱軸是已回答部分的錯題比例。藍色實線和橙色虛線疊在同一條軌跡上。原始組達到 0.99 的位置用點標出;縮放組最靠前的樣本只有 0.97551,沒人達到這條線,因此沒有可畫的風險點。原始門檻下十四個錯誤除以三百零四約為百分之四點六一。把它與縮放組的零個接受錯誤直接比較,會悄悄丟掉分母,也會得到一個無法兌現的改進。

在本次實際驗證中,較低的負對數似然說明真實類別獲得的對數概率平均提高;較小的十箱誤差說明這次分箱下頻率與置信度更接近。這兩句都只談全體樣本的彙總。回到開頭那條預測正確的短評,給正確答案降分會使它自己的負對數似然上升。整體改善可以伴隨個體變差,正如平均風險相同也不足以單獨證明每個樣本的名次一樣。逐樣本記錄讓兩種推斷都可以直接檢查。

官方代碼閱讀路線與失敗排查

先讀官方分類頭的前向函數,看首詞元表示怎樣經過線性層、激活、丟棄層和最後的分類層。再讀校準論文作者實現的溫度縮放函數,它把溫度擴展到與輸出相容的形狀,再逐元素相除。最後才看本地評測腳本:從每行減去最大值以穩定指數運算,歸一化得到兩類概率,按未舍入的最大概率排序。這個先後順序可以防止把最大原始輸出誤當成置信度。給一句話的兩個原始輸出同時加上相同常數,概率不變,最大原始輸出卻會變。

如果復算得到名次變化,先找兩隊列第一次分叉的身份,把兩行原始差值和保存的分數打印到足夠多的小數位。只保留兩位小數會使許多接近一的概率看上去相等,隨後按身份破平手就可能改變次序。進一步檢查是否在縮放後先轉成低精度,或讓兩組使用了不同的分詞上限。前者會製造數值平手,後者會改變原始輸入證據。兩者都可以成為另一個有趣實驗,卻不能用來推翻這裡共享實數變換的推導。

本次八句試跑與歸檔輸出的最大絕對差約為 2.38×10−72.38\times10^{-7},正式批次與歸檔逐值相同。小批次的數值偏差記錄在環境文件中,驗收時還逐條檢查預測類別、身份和文本摘要。獨立復算改用高精度十進制運算,從絕對分差直接求置信度,核查七百二十個分數與兩組各三百六十一個前綴記錄。原始句子沒有隨包分發,下載器會對數據文件和權重逐件檢查摘要;核驗失敗時應先查版本,不能換一份同名數據繼續算。

研究問題與總結

哪些修改值得在下一次實驗裡認真辨別?首先是每個樣本使用不同溫度的情形。兩個分差原本只差一點,如果較大分差恰好被更大的溫度相除,它有可能落到後面。其次是三個及以上類別的任務。此時最大類的概率還取決於所有競爭類的相對位置,單靠第一名和第二名的距離已無法還原分母。這是推導適用邊界提出的假設,本文沒有運行這些條件,也沒有根據審計池選出替代方案。

對希望複用舊閾值的研究者,還有一個可以用紙筆檢驗的問題。把舊概率門檻換算為所需的最小原始分差,再用新溫度把該分差換算回概率,就能在理想數值精度下保留相同的接受集合。這種換算只保持決定的一致性,新的樣本分佈仍可能改變所接問題的風險。讀實驗報告時,可以先找橫軸到底固定了什麼,再問接受集合是否變化,最後才解釋概率質量的變化。本次的結論落在同一個二分類器、共享正溫度和等覆蓋比較這三個條件上。

源碼與復現入口

固定版本已公開,可從本篇源碼目錄進入,按復現說明運行,或對照公式與官方代碼映射檢查實現。

在本篇源碼目錄執行 python run.py,可從固定預測重新生成逐樣本雙列分數、全部前綴和指標彙總;接著執行 python audit.py 走獨立復算路徑。要從權重開始重放,按說明先準備官方資源,再執行八句試跑和三百六十句正式運行。兩條路徑在本次均已執行,下載階段複用了逐件校驗過的緩存。

參考資料

檢索與版本核對日期為 2026-11-11。


作者作品推廣

除了寫技術博客,我也在做一些讓日常更有條理的小工具,歡迎瞭解我獨立開發的兩款 App:

  • 日常收支小記:記下收支,也給每一筆錢安排好去處。記錄日常賬目,安排預算與儲蓄目標。在 App Store 瞭解。
  • 一事微光:從一件小事開始,讓今天多一點微光。按當下的時間和精力選擇行動,記錄完成後的感受與發現。在 App Store 瞭解。

更多技術文章和個人作品,歡迎來我的網站:zffjzz.top。也歡迎把使用感受告訴我,讓這些小工具慢慢變得更好。