類別比例與共享校準裝置

復現目標:先把“夠用”變成可檢查的問題

校準集中正面影評很多,負面影評很少,一個溫度還能同時照顧兩類嗎?直覺容易直接跳到“必須分類校準”。但在增加參數之前,需要先確認問題來自類別比例,而不是樣本數量減少、難例偶然缺失,或者評價分佈一起變了。本篇新增的受控問題是:總量固定時,僅調整校準樣本的類別組成,同一個全局溫度在固定審計集上的概率損失怎樣變化?

上一篇比較溫度縮放與保序迴歸,本篇不繼續挑選方法,只使用已經固定的溫度擬合程序。模型、原始分數、標籤、截斷長度和審計樣本全部凍結。新增產物是六十組校準身份、溫度搜索軌跡、總體及分類指標,以及獨立復算腳本。這讓一個容易被泛泛討論的問題變成可以逐行追問的實驗。

這裡的“夠用”只能按預先規定的指標回答。平均損失降低不等於每個類別都可靠,更不等於每條樣本的概率都準確。我們也沒有訓練分類溫度,因此不能聲稱全局溫度勝過更復雜方法。最小實驗首先測量敏感性,之後才有理由決定是否增加模型自由度。

核心思想:比例改變了誰對目標函數發言

溫度縮放把模型輸出的原始分數,也就是 logits,同時除以一個正數,再轉為概率。對二分類,記兩個分數之差為 di=zi,1−zi,0d_i=z_{i,1}-z_{i,0},有

pi(T)=11+exp⁡(−di/T).p_i(T)=\frac{1}{1+\exp(-d_i/T)}.

這裡 ii 是樣本,ziz_i 是形狀為二的分數向量,pip_i 是正面類別概率,T>0T>0 是全局溫度。負面概率等於 1−pi1-p_i。正溫度不改變分數大小關係,因此分類結果應保持不變;它只改變概率的尖銳程度。這是本實驗可以直接審計的不變量。

擬合使用負對數似然,簡稱 NLL:給真實類別較小概率會受到較大懲罰。設校準集中正面比例為 π\pi,按真實標籤分組的平均損失為 L1L_1 和 L0L_0,則

L(T;π)=(1−π)L0(T)+πL1(T).L(T;\pi)=(1-\pi)L_0(T)+\pi L_1(T).

這條分解說明,增加正面比例會提高正面組在目標函數里的權重。然而本次採用真實樣本子集,比例變化也會改變具體成員,所以組內經驗損失並非完全固定。不能把全部變化都解釋成抽象權重的純因果效應。配對的類內排序能減少無關擾動,但不能消滅有限樣本差異。

論文報告方面,Guo、Pleiss、Sun 與 Weinberger 的二〇一七年研究表明,溫度縮放在其研究的多個數據集上有效。本篇沒有復現那些完整基準,也不把論文結論擴大成類別不平衡下的普遍保證。下面的數字只來自本輪固定檢查點和實際執行的子集實驗。

數據邊界與評測協議

沿用 DistilBERT 的 SST-2 英文情感分類檢查點,模型 revision 為 714eb0fa89d2f80546fda750413ed43d93601a13;數據 revision 為 8d51e7e4887a4caaa95b3fbebbf53c0490b58bbb。校準池二百五十六條、協議審計池三百六十條,身份來自本輪開始時凍結的哈希劃分。官方原始標籤直接使用,沒有新增語義標籤或人工金標。

必須披露:SST-2 在歷史研究中已經使用,審計池也在前幾篇中報告過結果。因此這是複用數據的開發性方法實驗,不能稱為未見測試,更不能冒充最終確認。IMDb 三池本篇完全沒有訪問。模型的預訓練文本是否包含這些公開句子,也沒有經過汙染排查。

正式分析前保存協議:每次恰好取一百條校準樣本,正面數分別為十、五十、九十,負面數補足總量。採用二十個預定種子,每個種子在兩類內部按樣本身份哈希排序,再取前綴。三種比例共享同一類內順序;不放回抽樣,不復制少數類,不按模型錯誤篩選樣本。共六十次擬合,全部報告。

主要指標是固定審計池的穩定 NLL,次要指標是兩類求和形式的 Brier 分數、按真實標籤分組的 NLL 和正確數。沒有用審計指標挑選溫度、種子或比例。二十次重複來自同一個有限池,下面的標準差是抽樣敏感性,不是總體置信區間,也不是二十次獨立收集數據得到的誤差線。

校準組成干預與固定審計流程

方法圖只表達數據流,托盤顏色比例是概念示意,不是實驗結果圖。審計支路直接進入應用與報告,不能迴流到擬合。

官方代碼閱讀路線與最小實現

閱讀作者官方倉庫時,先看 temperature_scale 對 logits 的除法,再看 set_temperature 如何收集校準分數、以交叉熵優化溫度,最後才看誤差分箱代碼。本篇固定官方提交 ce1154ec7d5235eee046f28875c3dd8421f11d45,具體永久鏈接與許可證寫入源碼地圖。

本地沒有複製作者的優化器。為了保證溫度為正且搜索過程易於檢查,繼承前篇的獨立教學實現,優化逆溫度 β=1/T\beta=1/T,將它限制在 [0.05,20][0.05,20] 內。對目標導數做一百次二分搜索,並保存邊界標誌、導數和每步區間中點。這個實現差異必須公開:它驗證同一種標量變換,不等於逐行運行論文訓練腳本。

穩定計算也很關鍵。記 yi∈{0,1}y_i\in\{0,1\} 為真實標籤,並令 ai=(1−2yi)βdia_i=(1-2y_i)\beta d_i,則單樣本損失為

ℓi=max⁡(ai,0)+log⁡(1+exp⁡(−∣ai∣)).\ell_i=\max(a_i,0)+\log(1+\exp(-|a_i|)).

這樣不會先把概率舍入成零再取對數。Brier 則使用 2(pi−yi)22(p_i-y_i)^2,取樣本平均;係數二對應兩類求和口徑。它與只計算正面概率平方誤差的口徑相差一倍。公式中的指數、對數和標籤映射都由另一個腳本獨立檢查。

本次實際驗證:不平衡沒有產生單調惡化

校準正面數/總數 溫度均值±標準差 審計 NLL 均值±標準差 審計 Brier 均值
10/100 2.4957±0.2090 0.238421±0.002086 0.135443
50/100 2.4683±0.3352 0.240355±0.004107 0.136042
90/100 2.3981±0.2012 0.238230±0.001559 0.135769

原始審計 NLL 為零點三八四一一三,Brier 為零點一五四〇〇一。六十次正溫度變換都保留三百三十條正確預測。就這組實驗而言,三種組成的平均損失都低於未校準基線;平衡條件並沒有給出最低的平均損失,也沒有給出最小的溫度波動。

這不是“不平衡有益”的證據。不同條件抽到的錯誤樣本及其分數強度不同,二十個重複高度共享有限池中的樣本,均值差距也很小。作者推斷是:在這批數據裡,類別比例本身不足以解釋溫度失效;高置信錯誤的組成可能同樣重要。這個解釋尚未經過單獨干預,只能作為後續假設。

工程復算分兩層執行。新增分析複用六百一十六條既有真實模型預測,並沒有宣稱重新推理全部樣本;另外以同一模型、同一數據緩存做八條真實 CPU 試跑,檢查推理鏈條仍然成立。試跑採用單精度、四線程和最長五百一十二 token,模型前向約零點〇六秒,導入之後總流程約零點五三秒。下載緩存經原登記哈希驗證後複用,未重新下載權重。

獨立腳本沒有調用擬合器,而是用黃金分割搜索重新尋找目標最小值,並從原始分數復算身份、概率損失、Brier 和正確數。六十組全部通過,指標最大差異約為三點三乘十的負十六次方。這是自動確定性復算,不是人工語義審核;運行命令、退出碼、輸入哈希與輸出均保留在交付記錄中。

失敗排查:先排除協議變化

如果復現出現準確率變化,應先檢查標籤映射、分數順序、是否使用非正溫度,以及相等分數時的判定規則。單一正溫度不應改變分類邊界。如果類別比例調整後總量也變化,就失去了本篇控制條件;如果少數類通過重複採樣補足,應另行記錄有效獨立樣本數,不能冒充本實驗。

如果溫度貼到搜索邊界,需要報告邊界而不是悄悄擴大區間。少量樣本恰好沒有錯誤時,優化目標可能鼓勵極端自信;上一實驗已經展示過這種失敗路徑。本次所有軌跡保留,讀者可以自行檢查是否觸邊,而不必依賴正文給出的均值。

最隱蔽的錯誤是用真實標籤挑選“類別溫度”後直接用於測試。推理時不知道真實類別,規則必須說明依賴預測類別還是對每個 logit 分別變換;兩者都與當前標量溫度不同,還可能改變決策邊界。本文沒有實施這些方法,不能憑直覺宣稱它們能修復本次現象。

源碼與復現入口

本篇源碼已公開並核驗固定提交:源碼目錄、README 與運行說明、SOURCE_MAP 源碼地圖。完整交付包含入口腳本、獨立審計、凍結預測、協議、依賴、資源身份與源碼地圖。最小分析命令如下:

python run.py
python audit.py

預期產物是六十組逐次記錄、彙總指標、資源耗時與獨立審計結果。分析本身只需標準庫;真實模型重放需按 README 安裝固定依賴,並執行資源準備與八條試跑命令。原始 SST-2 句子不隨源碼分發,因為數據卡許可標記不明確;讀者通過固定版本下載腳本獲取,模型權重和緩存也不進入壓縮包。

復算時還應保留每個真實標籤組的分母。總體指標是各組損失按樣本數加權後的結果;一個組改善較多,可能遮住另一個組的變化。源碼逐次保存兩個標籤組的損失,允許讀者核對這種抵消,但本文沒有給這些分組結果附加總體顯著性結論。原始標籤分組也不能替代對諷刺、否定或複雜語義的人工判斷。

另一個容易忽略的限制是校準池覆蓋範圍。人為抽取九成正面句子,只改變了當前公開短句池中的組成,沒有製造新的語言風格或更長上下文。因此這項干預無法代表自然分佈變化,更不能預測長影評上的遷移表現。保持審計分佈不變是為了隔離問題,同時也限制了答案的適用範圍。

研究問題與總結

下一步可以檢查參數遷移,但不能直接拿本篇審計最低損失的溫度當作贏家。新的比較必須先定義配對規則、估計對象和數據權限。若以後想檢驗“難例組成比標籤比例更重要”,應先登記錯誤強度的操作定義,並明確使用哪些開發數據;不能看過最終確認結果之後反向補寫假設。

本篇留下的可靠結論是有限而具體的:固定一百條校準總量、三種類別比例和同一審計分佈時,全局溫度的表現沒有隨不平衡程度單調惡化。它可以在總體概率損失上保持作用,但這些結果沒有證明子群體可靠性,也沒有證明更復雜校準不必要。可複查的協議與負結果,比一個過度整齊的結論更值得保留。

參考資料

檢索日期:2026-11-05。論文主張、實現細節與本次測量分別陳述。

  1. Chuan Guo、Geoff Pleiss、Yu Sun、Kilian Q. Weinberger,2017,On Calibration of Modern Neural Networks,ICML/PMLR 70。
  2. 作者官方溫度縮放實現,固定提交。
  3. DistilBERT SST-2 官方模型卡。
  4. Stanford NLP SST-2 數據卡。

作者作品推廣

這裡是作者自有產品推廣。我也獨立開發了兩款日常小工具:日常收支小記用於記錄收支、安排預算與儲蓄目標,在 App Store 瞭解;一事微光幫助你按時間、精力選擇小行動,並記錄完成後的感受,在 App Store 瞭解。更多技術文章與個人作品歡迎訪問個人網站。這些產品獨立於本文實驗,不代表論文作者或研究機構背書。