
復現目標:讓準確率保持原樣
前一篇固定模型預測,只改變分箱方式,發現校準誤差會隨測量口徑變化。這一次把問題再往前推進:如果每條樣本的預測類別完全不變,概率質量是否也應該不變?這不是文字遊戲。準確率只記錄答案是否命中標籤,無法區分一次謹慎的錯誤和一次幾乎不給正確答案留餘地的錯誤。科研報告若只保留一個準確率數字,就可能把這部分差異全部丟掉。
本篇新增一個受控對照:固定已有的真實分類分數,對所有樣本使用相同的正溫度,然後比較負對數似然和布里爾分數。前者通常縮寫為 NLL,衡量模型給真實標籤分配的概率;後者通常寫作 Brier,衡量概率向量距離真實標籤向量有多遠。兩者越低越好。我們不訓練模型,不擬合參數,也不從結果中選出一個溫度帶到後續評測。
本次實際驗證的結論很具體:四個條件均為二百五十六條中的二百三十三條正確,但概率損失明顯不同。這個反例足以否定“準確率相同就意味著概率質量相同”,卻不足以證明某個溫度在新數據上一定更好。
核心思想:只改變概率的尖銳程度
模型輸出的 logits 是尚未歸一化的類別分數。對每條輸入,分類頭產生兩個數;最大分數對應預測類別。溫度變換先把這兩個數同時除以一個正數,再通過 softmax 轉成和為一的概率:
這裡 是樣本序號, 和 是類別索引, 是形狀為 的固定分數矩陣, 是全局溫度。小於一的溫度通常讓概率更尖銳,大於一則使其趨向均勻。因為除以同一個正數不會顛倒大小關係,精確算術下每行的最大值位置保持不變。原本相等的分數仍然相等,所以平局規則也要固定。
Guo 等人在二〇一七年的論文中研究了溫度縮放,並報告了其在所研究任務上的校準表現。這裡借用的是變換形式;作者實現還會利用驗證集優化溫度,本篇沒有執行那一步。讀者應將“論文報告的擬合方法”和“本次人為指定溫度的測量對照”分開理解。

圖中的標籤僅進入損失計算,不進入溫度設置。圖標是流程示意,柱形和指針沒有數值含義;真實測量結果見後面的日誌繪圖。
公式與模塊:概率錯在哪裡
負對數似然採用自然對數,定義為:
為樣本總數, 為官方二分類標籤, 為給真實類別的概率。真實類別概率接近零時,損失會迅速增大。這使得少量自信錯誤可能對總損失產生很大影響。實際計算採用穩定的對數求和指數形式,從 logits 直接求損失,避免先得到數值零再取對數。
本篇的 Brier 使用兩個類別平方誤差相加的形式:
指示函數在真實類別處為一,其餘為零。該定義範圍為零到二;如果只計算正類概率與零一標籤的平方差,就會得到本篇數值的一半。定義不同不等於實現錯誤,但不能在沒有換算時直接比較。獨立審計正是利用二分類下這個兩倍關係,避免主程序與檢查程序複製同一段求和邏輯。
準確率、對數損失和平方損失回答不同問題。前者忽略最大值之外的概率變化;後兩者關注整個預測分佈。本篇並不把概率損失下降等同於每個置信區間都校準,也不把它等同於拒答排序改善。評價對象不同,需要不同的實驗支持。
官方代碼閱讀路線
先讀固定提交中的 DistilBERT 分類頭,確認首位置隱藏狀態經過預分類層、激活與分類器後輸出兩個分數。再讀模型配置中的標籤映射:零為負向,一為正向。最後讀溫度縮放作者倉庫中的 temperature_scale,確認被除以溫度的是 logits,而不是已經歸一化的概率。直接對概率做除法,既不是同一個變換,也可能破壞概率和為一的條件。
接著看 set_temperature 如何收集驗證數據、計算交叉熵並更新參數。這個閱讀步驟的價值,是明確本實驗刻意省略了哪些環節:沒有優化器,沒有反向傳播,沒有驗證集選優。配套源碼地圖記錄具體提交、函數位置和許可;本地概率計算與審計是獨立教學實現,不聲稱逐行復製作者訓練代碼。神經網絡前向仍調用固定版本的官方框架實現。
最小實驗與評測協議
數據沿用基線登記:把 SST-2 validation 的穩定編號按固定哈希排序,前二百五十六條為探索池;後面的校準池與協議審計池沒有進入本次預測。SST-2 在歷史實驗中已經用過,這裡始終屬於複用公開數據的探索性研究,不能稱為全新測試。IMDb 三池尚未參與本篇工作,也沒有新建語義標籤。
檢查點固定為 DistilBERT 的英文 SST-2 分類模型,模型版本和數據版本分別完整記錄在鎖文件中。分詞器、截斷、標籤、設備精度及輸入順序沿用基線。正式的二百五十六條 logits 從已公開的基線提交按字節複用;今天新增執行四溫度計算,並對前八條進行一次真實 CPU 重放,用來確認當前環境能夠恢復相同模型輸出。
在讀取本次溫度比較結果前,協議寫入四個值:零點五、一、二、四。所有條件都保留,不做連續搜索,不增補看起來可能更優的值。每個條件保存逐樣本概率、預測、正確性、NLL 和 Brier,共一千零二十四條派生記錄。隨機種子登記為一百一十四,但本次變換是確定性計算,沒有抽樣步驟。
八條真實重放的前向耗時約零點零七六秒,導入完成後的總耗時約零點五四五秒,進程峰值常駐內存約八億字節。它們是這次試跑的測量值,不是完整數據集耗時,也不包含重新下載資源的成本。下載與預處理複用已核驗緩存;正式推理日誌保留原始時間,不能把舊運行時間改成今天來製造新實驗。
實際結果:同樣的答案,不同的代價
| 溫度 | 正確數/總數 | NLL | Brier(雙類別求和) |
|---|---|---|---|
| 0.5 | 233/256 | 0.736700 | 0.179870 |
| 1 | 233/256 | 0.385259 | 0.169913 |
| 2 | 233/256 | 0.248380 | 0.148634 |
| 4 | 233/256 | 0.283421 | 0.153549 |

四種準確率都為百分之九十一點零二,且逐樣本預測相同,不僅僅是正確總數碰巧相同。從溫度一到二,兩種概率損失均下降;繼續升到四,又出現回升。這個負結果值得保留:把分佈變平並不保證持續改善概率質量。表中的二隻是四個預定條件中觀察到的較低值,不是經過獨立校準得到的推薦參數。
為了理解原因,我們把 NLL 分成正確樣本和錯誤樣本兩部分,二者都除以完整的二百五十六。溫度一時,兩部分貢獻約為零點零一六一和零點三六九二;溫度二時變成零點零五一三和零點一九七一。錯誤貢獻的下降超過正確貢獻的上升,因此總值降低。溫度四時,正確貢獻升至零點一六二七,錯誤貢獻降至零點一二零七,兩者相加反而高於溫度二。
這項分解是同一結果的算術解釋,不是新發現的樣本因果機制。我們沒有閱讀錯誤文本來賦予“諷刺”“歧義”等語義標籤,也沒有聲稱錯誤來自某類語言現象。後續若需要這種解釋,應先建立標註規範和實際審核,而不是從損失大小倒推語言學原因。
獨立復算與失敗排查
主程序從兩個縮放後的分數計算 softmax。檢查腳本另從兩類分數差計算 sigmoid,再用穩定的 softplus 重建 NLL,並用單正類平方誤差的兩倍重建 Brier。全部派生行、正確數、均值與分組貢獻均已實際核對,最大絕對數值偏差約為一千萬億分之二。輸入文件哈希、腳本哈希、執行命令與退出碼均保存,自動復算不會被寫成語義人工審核。
如果預測類別發生變化,先排查溫度是否為正、是否給不同類別使用了不同溫度,以及代碼是否意外重新推理。若所有概率損失恰好差一倍,優先檢查 Brier 定義。若 NLL 出現無窮值,應檢查是否先把概率舍入到零,或在低精度下直接指數運算。不要為了消除異常就偷偷裁剪概率;裁剪會改變正在測量的量,必須作為新配置記錄。
這次繪圖首次建立字體緩存時出現目錄不可寫警告,日誌保留,最後圖像正常產出。它沒有影響模型輸出或損失。把環境提示與科學失敗分開登記,可以避免為了修復繪圖而重跑全部推理,也能讓讀者知道哪些階段確實執行過。
源碼與復現入口
本篇完整可瀏覽源碼已公開:固定提交目錄、README 與運行說明、SOURCE_MAP 源碼地圖。歸檔包含模型獲取與推理入口、概率分析、獨立審計、固定依賴與驗證記錄。固定版本已匿名下載,全部文件與本地歸檔逐一核對一致。
最小分析命令是 python analyze.py && python check_analysis.py,預期生成逐樣本溫度記錄、聚合結果和審計報告。真實模型重放使用 python execute.py smoke --cache .cache112;首次運行先按 README 獲取固定資源。當前實際執行範圍為複用二百五十六條真實預測、四個溫度分析與八條新重放,不包含重新訓練、全基準評測或獨立確認。
研究問題與總結
本次沒有置信區間,因為目標首先是展示固定預測上的確定性反例;圖上也不偽造誤差線。若要估計新樣本上的差異,需要事先確定配對統計方案與獨立評估數據。若要選擇溫度,則必須把擬合和評估分離。現在直接採用表現較好的溫度,再在同一批數據上報告收益,會把測量對照變成有選擇偏差的方法比較。
下一步可檢驗的問題是:這些自信錯誤在預先規定的長度和原始標籤分組中是否集中?這個問題可以繼續利用現有預測推進,又不會提前消耗確認數據。本篇留下的可靠結論則更基礎:答案是否正確與概率分配是否合理是不同維度;固定準確率之後,概率損失仍可以變化,而且變化存在代價交換。只有把這兩個維度分別保存、分別檢查,後續的校準與拒答實驗才有可審查的起點。
參考資料
檢索日期:2026-10-30。以下均為一手來源;論文結論、官方實現與本次實驗結果分別陳述。
- Guo, Pleiss, Sun, Weinberger. 2017. On Calibration of Modern Neural Networks,ICML/PMLR 70,1321–1330。
- 作者溫度縮放實現,固定提交,溫度除法與驗證集擬合路線。
- DistilBERT SST-2 官方模型卡,固定檢查點與標籤信息。
- Stanford NLP SST-2 固定數據版本,數據許可標記 unknown,源碼不分發原始語句。
作者作品
以下是作者自有產品。除了科研寫作,我也獨立開發了一些日常工具,歡迎按自己的需要了解:日常收支小記用於記錄收支、安排預算和儲蓄目標,在 App Store 查看;一事微光幫助你按時間與精力選擇小行動,並記錄完成後的感受,在 App Store 查看。更多技術文章與個人作品見作品詳情。這些作品與本文實驗結論獨立,也歡迎分享實際使用感受。