
復現目標:先把“夠用”變成可檢查的問題
校準集中正面影評很多,負面影評很少,一個溫度還能同時照顧兩類嗎?直覺容易直接跳到“必須分類校準”。但在增加參數之前,需要先確認問題來自類別比例,而不是樣本數量減少、難例偶然缺失,或者評價分佈一起變了。本篇新增的受控問題是:總量固定時,僅調整校準樣本的類別組成,同一個全局溫度在固定審計集上的概率損失怎樣變化?
上一篇比較溫度縮放與保序迴歸,本篇不繼續挑選方法,只使用已經固定的溫度擬合程序。模型、原始分數、標籤、截斷長度和審計樣本全部凍結。新增產物是六十組校準身份、溫度搜索軌跡、總體及分類指標,以及獨立復算腳本。這讓一個容易被泛泛討論的問題變成可以逐行追問的實驗。
這裡的“夠用”只能按預先規定的指標回答。平均損失降低不等於每個類別都可靠,更不等於每條樣本的概率都準確。我們也沒有訓練分類溫度,因此不能聲稱全局溫度勝過更復雜方法。最小實驗首先測量敏感性,之後才有理由決定是否增加模型自由度。
核心思想:比例改變了誰對目標函數發言
溫度縮放把模型輸出的原始分數,也就是 logits,同時除以一個正數,再轉為概率。對二分類,記兩個分數之差為 ,有
這裡 是樣本, 是形狀為二的分數向量, 是正面類別概率, 是全局溫度。負面概率等於 。正溫度不改變分數大小關係,因此分類結果應保持不變;它只改變概率的尖銳程度。這是本實驗可以直接審計的不變量。
擬合使用負對數似然,簡稱 NLL:給真實類別較小概率會受到較大懲罰。設校準集中正面比例為 ,按真實標籤分組的平均損失為 和 ,則
這條分解說明,增加正面比例會提高正面組在目標函數里的權重。然而本次採用真實樣本子集,比例變化也會改變具體成員,所以組內經驗損失並非完全固定。不能把全部變化都解釋成抽象權重的純因果效應。配對的類內排序能減少無關擾動,但不能消滅有限樣本差異。
論文報告方面,Guo、Pleiss、Sun 與 Weinberger 的二〇一七年研究表明,溫度縮放在其研究的多個數據集上有效。本篇沒有復現那些完整基準,也不把論文結論擴大成類別不平衡下的普遍保證。下面的數字只來自本輪固定檢查點和實際執行的子集實驗。
數據邊界與評測協議
沿用 DistilBERT 的 SST-2 英文情感分類檢查點,模型 revision 為 714eb0fa89d2f80546fda750413ed43d93601a13;數據 revision 為 8d51e7e4887a4caaa95b3fbebbf53c0490b58bbb。校準池二百五十六條、協議審計池三百六十條,身份來自本輪開始時凍結的哈希劃分。官方原始標籤直接使用,沒有新增語義標籤或人工金標。
必須披露:SST-2 在歷史研究中已經使用,審計池也在前幾篇中報告過結果。因此這是複用數據的開發性方法實驗,不能稱為未見測試,更不能冒充最終確認。IMDb 三池本篇完全沒有訪問。模型的預訓練文本是否包含這些公開句子,也沒有經過汙染排查。
正式分析前保存協議:每次恰好取一百條校準樣本,正面數分別為十、五十、九十,負面數補足總量。採用二十個預定種子,每個種子在兩類內部按樣本身份哈希排序,再取前綴。三種比例共享同一類內順序;不放回抽樣,不復制少數類,不按模型錯誤篩選樣本。共六十次擬合,全部報告。
主要指標是固定審計池的穩定 NLL,次要指標是兩類求和形式的 Brier 分數、按真實標籤分組的 NLL 和正確數。沒有用審計指標挑選溫度、種子或比例。二十次重複來自同一個有限池,下面的標準差是抽樣敏感性,不是總體置信區間,也不是二十次獨立收集數據得到的誤差線。

方法圖只表達數據流,托盤顏色比例是概念示意,不是實驗結果圖。審計支路直接進入應用與報告,不能迴流到擬合。
官方代碼閱讀路線與最小實現
閱讀作者官方倉庫時,先看 temperature_scale 對 logits 的除法,再看 set_temperature 如何收集校準分數、以交叉熵優化溫度,最後才看誤差分箱代碼。本篇固定官方提交 ce1154ec7d5235eee046f28875c3dd8421f11d45,具體永久鏈接與許可證寫入源碼地圖。
本地沒有複製作者的優化器。為了保證溫度為正且搜索過程易於檢查,繼承前篇的獨立教學實現,優化逆溫度 ,將它限制在 內。對目標導數做一百次二分搜索,並保存邊界標誌、導數和每步區間中點。這個實現差異必須公開:它驗證同一種標量變換,不等於逐行運行論文訓練腳本。
穩定計算也很關鍵。記 為真實標籤,並令 ,則單樣本損失為
這樣不會先把概率舍入成零再取對數。Brier 則使用 ,取樣本平均;係數二對應兩類求和口徑。它與只計算正面概率平方誤差的口徑相差一倍。公式中的指數、對數和標籤映射都由另一個腳本獨立檢查。
本次實際驗證:不平衡沒有產生單調惡化
| 校準正面數/總數 | 溫度均值±標準差 | 審計 NLL 均值±標準差 | 審計 Brier 均值 |
|---|---|---|---|
| 10/100 | 2.4957±0.2090 | 0.238421±0.002086 | 0.135443 |
| 50/100 | 2.4683±0.3352 | 0.240355±0.004107 | 0.136042 |
| 90/100 | 2.3981±0.2012 | 0.238230±0.001559 | 0.135769 |
原始審計 NLL 為零點三八四一一三,Brier 為零點一五四〇〇一。六十次正溫度變換都保留三百三十條正確預測。就這組實驗而言,三種組成的平均損失都低於未校準基線;平衡條件並沒有給出最低的平均損失,也沒有給出最小的溫度波動。
這不是“不平衡有益”的證據。不同條件抽到的錯誤樣本及其分數強度不同,二十個重複高度共享有限池中的樣本,均值差距也很小。作者推斷是:在這批數據裡,類別比例本身不足以解釋溫度失效;高置信錯誤的組成可能同樣重要。這個解釋尚未經過單獨干預,只能作為後續假設。
工程復算分兩層執行。新增分析複用六百一十六條既有真實模型預測,並沒有宣稱重新推理全部樣本;另外以同一模型、同一數據緩存做八條真實 CPU 試跑,檢查推理鏈條仍然成立。試跑採用單精度、四線程和最長五百一十二 token,模型前向約零點〇六秒,導入之後總流程約零點五三秒。下載緩存經原登記哈希驗證後複用,未重新下載權重。
獨立腳本沒有調用擬合器,而是用黃金分割搜索重新尋找目標最小值,並從原始分數復算身份、概率損失、Brier 和正確數。六十組全部通過,指標最大差異約為三點三乘十的負十六次方。這是自動確定性復算,不是人工語義審核;運行命令、退出碼、輸入哈希與輸出均保留在交付記錄中。
失敗排查:先排除協議變化
如果復現出現準確率變化,應先檢查標籤映射、分數順序、是否使用非正溫度,以及相等分數時的判定規則。單一正溫度不應改變分類邊界。如果類別比例調整後總量也變化,就失去了本篇控制條件;如果少數類通過重複採樣補足,應另行記錄有效獨立樣本數,不能冒充本實驗。
如果溫度貼到搜索邊界,需要報告邊界而不是悄悄擴大區間。少量樣本恰好沒有錯誤時,優化目標可能鼓勵極端自信;上一實驗已經展示過這種失敗路徑。本次所有軌跡保留,讀者可以自行檢查是否觸邊,而不必依賴正文給出的均值。
最隱蔽的錯誤是用真實標籤挑選“類別溫度”後直接用於測試。推理時不知道真實類別,規則必須說明依賴預測類別還是對每個 logit 分別變換;兩者都與當前標量溫度不同,還可能改變決策邊界。本文沒有實施這些方法,不能憑直覺宣稱它們能修復本次現象。
源碼與復現入口
本篇源碼已公開並核驗固定提交:源碼目錄、README 與運行說明、SOURCE_MAP 源碼地圖。完整交付包含入口腳本、獨立審計、凍結預測、協議、依賴、資源身份與源碼地圖。最小分析命令如下:
python run.py
python audit.py
預期產物是六十組逐次記錄、彙總指標、資源耗時與獨立審計結果。分析本身只需標準庫;真實模型重放需按 README 安裝固定依賴,並執行資源準備與八條試跑命令。原始 SST-2 句子不隨源碼分發,因為數據卡許可標記不明確;讀者通過固定版本下載腳本獲取,模型權重和緩存也不進入壓縮包。
復算時還應保留每個真實標籤組的分母。總體指標是各組損失按樣本數加權後的結果;一個組改善較多,可能遮住另一個組的變化。源碼逐次保存兩個標籤組的損失,允許讀者核對這種抵消,但本文沒有給這些分組結果附加總體顯著性結論。原始標籤分組也不能替代對諷刺、否定或複雜語義的人工判斷。
另一個容易忽略的限制是校準池覆蓋範圍。人為抽取九成正面句子,只改變了當前公開短句池中的組成,沒有製造新的語言風格或更長上下文。因此這項干預無法代表自然分佈變化,更不能預測長影評上的遷移表現。保持審計分佈不變是為了隔離問題,同時也限制了答案的適用範圍。
研究問題與總結
下一步可以檢查參數遷移,但不能直接拿本篇審計最低損失的溫度當作贏家。新的比較必須先定義配對規則、估計對象和數據權限。若以後想檢驗“難例組成比標籤比例更重要”,應先登記錯誤強度的操作定義,並明確使用哪些開發數據;不能看過最終確認結果之後反向補寫假設。
本篇留下的可靠結論是有限而具體的:固定一百條校準總量、三種類別比例和同一審計分佈時,全局溫度的表現沒有隨不平衡程度單調惡化。它可以在總體概率損失上保持作用,但這些結果沒有證明子群體可靠性,也沒有證明更復雜校準不必要。可複查的協議與負結果,比一個過度整齊的結論更值得保留。
參考資料
檢索日期:2026-11-05。論文主張、實現細節與本次測量分別陳述。
- Chuan Guo、Geoff Pleiss、Yu Sun、Kilian Q. Weinberger,2017,On Calibration of Modern Neural Networks,ICML/PMLR 70。
- 作者官方溫度縮放實現,固定提交。
- DistilBERT SST-2 官方模型卡。
- Stanford NLP SST-2 數據卡。
作者作品推廣
這裡是作者自有產品推廣。我也獨立開發了兩款日常小工具:日常收支小記用於記錄收支、安排預算與儲蓄目標,在 App Store 瞭解;一事微光幫助你按時間、精力選擇小行動,並記錄完成後的感受,在 App Store 瞭解。更多技術文章與個人作品歡迎訪問個人網站。這些產品獨立於本文實驗,不代表論文作者或研究機構背書。