小樣本校準實驗裝置

復現目標:一個參數也會被小樣本帶偏

上一篇在固定的二分類模型上,用二百五十六條校準樣本擬合出約二點四八的溫度,審計集的負對數似然隨之下降。很容易據此產生一個直覺:既然只有一個參數,幾十條標註應該也夠用。今天只檢驗這個直覺,不更換模型,不嘗試新的校準方法,也不挑出表現最好的隨機種子。

本次實際驗證發現,十六條樣本的五十次抽樣中,有十次校準子集恰好沒有模型錯誤。這十次的擬合溫度全部到達預設下界,應用到同一審計池後,概率損失顯著惡化。問題不是分類答案突然改變,而是錯誤答案得到更接近一的概率。這個負結果說明,參數少不等於數據提供的信息充分。

本文的可審查產物是二百五十次擬合記錄:每次包含樣本身份、溫度、邊界標記、校準錯誤數和審計損失。結論限定於固定公開模型、固定有限樣本池和當前抽樣協議,不把一次局部實驗寫成通用樣本量建議。

核心思想:把數據波動與優化失敗分開

溫度縮放是對分類器的 logits,也就是歸一化前的類別分數,統一除以一個正數後再計算概率。Guo 等人在二〇一七年的論文中研究了這種後處理方法;論文報告的有效性來自其具體實驗,不能替代當前模型的小樣本檢驗。

這裡凍結 DistilBERT SST-2 檢查點、分詞器、標籤映射、截斷長度和真實預測緩存,只改變參與擬合的樣本身份與數量。同一規模重複抽樣,可以觀察估計量對樣本組成有多敏感。與此同時,用另一種數值方法獨立求解,檢查異常溫度究竟是優化器沒收斂,還是目標函數確實偏好邊界。

這兩種解釋的應對方式不同。算法錯誤需要修實現;數據中沒有足夠錯誤樣本,則不能靠多迭代幾次補出缺失信息。我們不在看到審計結果後調整溫度邊界,保留原先的約束,便於與上一篇對照。

公式與模塊:零錯誤為何會推高自信

對第 ii 條樣本,設兩類分數為 zi0z_{i0} 和 zi1z_{i1},標籤 yiy_i 取零或一。定義分數差 di=zi1−zi0d_i=z_{i1}-z_{i0},逆溫度 β=1/T\beta=1/T,則正類概率為

pi(β)=11+exp⁡(−βdi).p_i(\beta)=\frac{1}{1+\exp(-\beta d_i)}.

這裡 TT 是溫度,β\beta 是正標量;每批原始輸出形狀為 [B,2][B,2],概率仍對應兩個固定情感標籤。它不是開放文本生成的正確概率。溫度保持為正,因此理論上不會改變兩個分數的大小關係。

擬合目標是校準子集上的平均負對數似然,簡稱 NLL:

Ln(β)=1n∑i=1n[log⁡(1+exp⁡(βdi))−yiβdi].L_n(\beta)=\frac{1}{n}\sum_{i=1}^{n}\left[\log(1+\exp(\beta d_i))-y_i\beta d_i\right].

nn 是本次擬合使用的樣本數。實現採用穩定的 softplus 計算,避免大指數溢出;主求解器使用導數二分法,獨立審計使用黃金分割搜索,不導入主擬合函數。

Ln′(β)=1n∑idi(pi−yi),Ln′′(β)=1n∑idi2pi(1−pi)≥0.L_n'(\beta)=\frac{1}{n}\sum_i d_i(p_i-y_i),\qquad L_n''(\beta)=\frac{1}{n}\sum_i d_i^2p_i(1-p_i)\geq0.

第二式說明目標對逆溫度是凸的。如果所有樣本都被嚴格正確分類,每項一階導數都為負,增加逆溫度會繼續降低訓練目標。於是受約束最優解落在逆溫度上界,也就是溫度下界。這不是“模型真的完全可靠”的證據,而是有限樣本上目標函數的行為。若存在分數相等或完全退化的樣本,還需要單獨討論,本次不把這些情形混入解釋。

最小實驗與評測協議

原始 validation 的八百七十二條樣本早已按固定身份哈希劃分:探索池二百五十六條、校準池二百五十六條、協議審計池三百六十條。本篇只讀取上一篇校準與審計的真實 logits。SST-2 在歷史項目中已經使用,審計池也已在上一篇觀察,因此這裡屬於探索性方法實驗,不能稱從未見過的測試集。IMDb 的三個池本次均未訪問。

在計算新子集之前,我們保存協議與輸入哈希。種子固定為 11800 至 11849;每個種子根據種子和樣本編號的 SHA-256 排序,再取前 16、32、64、128、256 條。這樣同一種子內的小子集是大子集的前綴,便於配對追蹤。沒有按標籤或錯誤數分層,也沒有刪除不理想的子集。

每個規模擬合五十次,逆溫度區間沿用 [0.05,20][0.05,20],二分一百輪;溫度對應同樣的數值區間,但上下端互換。主要指標預先定為溫度的樣本標準差;同時報告中位數、範圍、邊界次數、零錯誤次數以及統一審計池上的 NLL。審計結果不會迴流到擬合步驟。

嵌套抽樣與獨立審計流程

圖是方法示意,末端散點不代表測量結果。新實驗總共二百五十次標量擬合,沒有重新訓練分類器。另執行八條真實 CPU 推理,核對緩存與當前模型加載路徑;所有正式統計仍來自固定的六百一十六條已有預測,不能將緩存分析記成新模型推理。

本次實際驗證:均值掩蓋了邊界失敗

校準數量 溫度中位數 溫度標準差 溫度範圍 邊界次數 審計 NLL 中位數
16 2.7254 1.4284 0.0500–5.3817 10/50 0.25797
32 2.6012 0.7061 0.0500–4.4586 1/50 0.24192
64 2.5430 0.3619 1.4686–3.3428 0/50 0.23881
128 2.5407 0.1994 2.1111–2.8738 0/50 0.23786
256 2.4819 約零 2.4819–2.4819 0/50 0.23714

十六條時溫度均值約二點四四,看起來接近全池估計,實際卻混合了兩種很不同的結果:部分子集把概率軟化,十個零錯誤子集則把概率大幅銳化。因此只寫平均溫度會隱藏失敗。三十二條時仍出現一次相同邊界事件,六十四和一百二十八條時在這五十個子集中沒有觀察到。

原始審計 NLL 約為 0.38411。十六條和三十二條兩組的最壞值均為 7.27131,恰好對應溫度下界;其餘兩種較大子集的最大值分別約為 0.28393 和 0.24201。審計池三百三十條正確預測在全部二百五十個溫度下保持不變,說明準確率不能揭示這次概率質量退化。

全池標準差約零不是“二百五十六條足夠”的證明。每個種子使用的是完全相同的二百五十六條,只改變排列;微小數值差來自浮點求和次序。它是有限池抽樣設計的必然端點。我們沒有取得五十份獨立新數據,也沒有估計未來總體上的溫度方差。

官方代碼閱讀路線

先讀論文溫度縮放部分,再讀作者倉庫的 temperature_scale 與 set_temperature:前者執行分數除溫度,後者收集驗證 logits 並優化交叉熵。隨後進入 Transformers 的 DistilBERT 分類頭,核對首位置隱狀態經過預分類層、激活、dropout 和二分類層的路徑。實際推理運行官方庫,本文沒有用教學網絡替代檢查點。

本地實現保留上一篇有界逆溫度求解器,區別於作者示例的 GPU LBFGS。差異寫入源碼地圖,不宣稱逐行復刻官方實驗。新增入口負責哈希抽樣、結果彙總和資源記錄,獨立腳本負責重新構建子集並復算損失。模型與數據的完整 revision、文件哈希、依賴和許可證均隨代碼提供。

源碼與復現入口

本篇已公開的固定版本入口:源碼目錄、README.md、SOURCE_MAP.md。二十六個分發文件已從固定提交匿名下載,並與本地歸檔逐文件核對;公開副本的獨立復算與八條真實模型重放通過。

最小分析命令為 python run.py,隨後執行 python audit.py。預期得到逐次擬合記錄、五個規模的彙總和獨立審計結果。真實模型重放需安裝依賴,執行 python model_run.py prepare --cache .cache 與 python model_run.py smoke --cache .cache;緩存可複用,但必須通過資源哈希驗證。原始文本因數據許可未明確而不隨包分發,下載腳本固定官方來源。

失敗排查:先檢查記錄,再解釋機制

遇到邊界溫度,第一步應查看校準錯誤數及目標導數,而不是立即歸因於學習率。當前十一個邊界事件均來自零錯誤子集,獨立優化核對支持其為約束最優。第二步檢查概率計算是否穩定:極小溫度會造成指數下溢,不能直接取已經舍入成零的概率再求對數,應從 logits 穩定計算損失。

第三步檢查身份是否漂移。相同數量不代表相同樣本;本篇保存所有抽樣編號,並核對校準與審計不重疊。第四步檢查是否偷偷使用審計損失選擇種子、溫度範圍或報告規模。一旦這樣做,原本用於評價的池便參與了方法選擇,需要新的確認數據,不能繼續沿用原來的證據地位。

獨立腳本使用不同的損失表達式與求解路徑,並保存輸入哈希和退出碼。這是確定性算術複核,不是人工語義審核。本次沒有新建語義標籤或改寫文本,使用官方原始標籤,因此不存在由自動腳本冒充人的標籤保持判斷。

實際運行另記錄操作系統、解釋器、框架版本、張量形狀、耗時和進程峰值內存。八條重放的前向耗時約零點零七六秒,導入後的總過程約零點五六六秒;八條重放與原緩存的最大分數差約為四點七七乘十的負七次方,預測類別全部一致;當前八條批次與原十六條批次的填充形狀不同,記錄保留浮點差異,不聲稱逐字節相等。這只是當前機器的一次測量,不是性能基準。輸入資源複用已驗證緩存,因此本次沒有測量重新下載所需時間,讀者首次運行仍需預留模型文件下載空間。

研究問題與證據邊界

作者推斷是,小樣本估計的不穩定性至少部分與錯誤樣本是否被抽到有關;當前凸目標分析提供了零錯誤子集的機制解釋。但不同子集同時改變了類別比例、分數間隔和文本組成,不能把所有溫度波動都歸因於一個因素。若進一步檢驗,應預先固定錯誤比例或間隔分層方案,而不是看完審計損失後重新拼湊“理想校準集”。

另一個可檢驗問題是,帶有預先確定正則項的溫度估計是否能減少邊界失敗,同時維持概率質量。當前沒有運行這個方案,不提供想像中的提升數字。下一篇將按既定順序比較溫度縮放與保序迴歸,使用相同數據邊界,研究靈活方法的小樣本風險;今天的審計觀察不能包裝成下一篇的盲測保證。

五十次抽樣之間共享有限池,嵌套規模之間更是配對相關。表中標準差只是當前抽樣分佈的描述,不是均值的標準誤,也不是百分之九十五置信區間。不能據“六十四條未出現失敗”推斷其失敗概率為零,更不能把這個數字推薦給其他數據集、模型或類別數。

總結

只擬合一個參數,仍可能因為校準集中沒有錯誤而產生極端概率。今天的貢獻是把平均表現之外的失敗留下來:固定輸入、預先登記抽樣、報告全部邊界解、用獨立求解器複核,並明確有限池與歷史暴露的限制。可靠的復現實驗不只是給出一個溫度,更要說明換一小批校準樣本之後,結論還能保留多少。

參考資料

檢索日期:2026-11-03。論文觀點、官方實現與本次實驗結果分別說明。

  1. Guo, Pleiss, Sun, Weinberger. 2017. On Calibration of Modern Neural Networks,ICML,PMLR 70。
  2. 作者溫度縮放實現,固定提交,MIT。
  3. Transformers DistilBERT 官方實現,Apache-2.0。
  4. 固定 SST-2 模型卡。
  5. 固定 SST-2 數據卡。

作者作品推廣

以下是作者自有產品推廣。除了科研寫作,我也獨立開發了兩款日常工具:日常收支小記用於記錄收支、安排預算與儲蓄目標;一事微光幫助你按時間與精力選擇小行動,並記錄完成後的感受。它們承載的是我對日常記錄的興趣,不代表本文的研究結論或論文機構背書。更多技術文章與個人作品,歡迎訪問個人網站。