本篇實際完成:固定公開DistilBERT檢查點,對SST-2的256條開發樣本重新推理,保存逐條分數並獨立復算。沒有訓練、沒有擬合校準參數,也不把分類概率解釋成開放問答的事實可靠性。

一、為什麼答對了多少,還不是完整答案
看到一個模型準確率超過九成,我們很容易覺得它已經足夠可靠。但研究中還有另一個問題:模型自己給出的把握程度,和實際表現相符嗎?
如果一個模型對大量答案都接近百分之百確信,而實際仍然經常出錯,那麼它的分類能力和概率表達就是兩件需要分別檢查的事。前者回答“選對了沒有”,後者關心“分數能否被當成可信的概率”。一個漂亮的準確率,不能自動證明第二點。
這不是先給模型貼上“不可信”的標籤。本篇先建立一套可以被別人復算的觀測:固定模型、固定輸入、保留原始分數,再比較置信度和正確性。等基線站穩,後續才討論校準、拒答和統計保證。否則,連問題出在哪一層都沒有確定,直接嘗試新方法,很容易把評分方式的變化誤認為能力進步。
今天的結果有一個值得追問的反差:模型答對了233條,準確率為91.02%;同一批樣本的平均置信度卻是98.17%。這兩項都是本次真實運行的結果,不是模型卡上的數字,也不是從別人的論文表格摘來的結論。
二、研究對象要小,問題邊界要清楚
我們選擇Hugging Face發佈的DistilBERT SST-2情感分類檢查點。輸入是一段英文影評文本,輸出是負向和正向兩個類別的分數。它屬於經過情感任務微調的預訓練編碼器,不是聊天模型;模型卡明確描述了任務與語言範圍。模型卡
選擇它不是為了追逐最新排行榜,而是為了把研究變量控制住。標籤空間只有兩個,官方標籤可直接核對,模型可以在本機運行。我們先研究一個能審計清楚的概率問題,再考慮複雜的生成場景。
這也劃出了結論邊界:英文影評分類上的過度自信,不能直接推出中文科研問答同樣失準,更不能據此估算大語言模型的幻覺率。開放生成的答案空間、正確性定義和評分方法都不同。後面比較生成式模型時,必須重新說明分數代表什麼,而不能只因為兩個數都落在零到一之間,就把它們放進同一張排行榜。
數據來自Stanford NLP發佈的SST-2驗證劃分,共872條。它的研究背景可以追溯到情感樹庫,但本篇使用的是現成二分類任務,不復現原論文的遞歸模型。數據入口;原始論文
還有一項必須提前披露:這個數據集在前面的博客中已經出現,檢查點作者也報告過驗證集表現。因此,本篇是複用公開開發數據的探索性實驗,不是“從未見過的測試集”,更沒有證明訓練數據零汙染。重新打亂數據的編號,並不會抹掉這些歷史。
三、置信度從哪裡來
一次批量推理得到形狀為的logits,是批量樣本數,兩個分量對應負向與正向。logit是未經歸一化的模型分數。我們用softmax轉換成兩項概率,再取較大的一項作為預測置信度:
這裡,是第條樣本對類別的分數,是歸一化概率,是預測類別,是最大類別概率。實際計算使用穩定的log-softmax,避免先指數化造成數值問題。
注意,softmax保證的是兩項非負且相加為一,並沒有額外證明“這些概率一定符合真實正確率”。模型輸出了0.99,不等於研究者已經驗證了百分之九十九的可靠性。
Guo等人的經典校準論文將問題表述為:具有相同置信度的一組預測,其正確比例是否與該置信度相符。本文借用這個測量框架,而不聲稱重現論文的全部模型、數據集或溫度縮放結果。論文第2節
四、先凍結協議,再看結果

上圖是流程示意,不包含實驗測量值。尤其要注意底部的標籤路徑:標準答案只進入評測環節,不作為模型推理輸入。圖中的概率容器也只是概念圖,不代表任何實際比例。
本輪按樣本原始編號構造哈希排序,規則為對字符串“cycle7:編號”計算SHA-256並升序排列。前256條用於本篇探索,接下來256條留作校準池,其餘360條作協議審計池。三個集合的編號在首次推理之前保存;今天沒有生成後兩個池的模型預測。
這樣做首先為了可追溯,而不是讓隨機劃分帶來神奇的獨立性。它能防止看到結果後挑樣本,卻不能解決數據歷史複用、模型作者可能用過驗證集、同源文本相關性等問題。後續域內實驗仍會註明探索性質。
本篇凍結的條件包括:模型與分詞器固定revision,最大長度512,批量16,CPU單精度,四個計算線程,固定隨機種子112,關閉訓練態dropout,使用eager注意力。沒有嘗試不同提示詞,沒有訓練新權重,也沒有按結果調閾值。
正式運行前先做8條試跑,只檢查鏈路和資源。試跑來自同一開發池,因此不另算一次獨立測試。之後完整處理預先選好的256條,不因為試跑看起來好或壞而更換樣本。
五、真實結果:分數很高,錯誤仍然存在
| 指標 | 本次結果 | 應如何理解 |
|---|---|---|
| 正確數與準確率 | 233/256,91.02% | 這256條上的分類表現 |
| 平均最大類別概率 | 98.17% | 模型對自己所選類別的平均把握 |
| 平均置信度減準確率 | 7.16個百分點 | 整體方向性的差距,不是完整校準度量 |
| 十等寬分箱ECE | 0.083705 | 本文固定分箱口徑下的描述量 |
| 平均負對數似然NLL | 0.385259 | 使用自然對數計算的概率損失 |
| 雙類別求和Brier分數 | 0.169913 | 兩個類別的平方誤差之和再取平均 |
最容易誤讀的是“九成以上”這個區間。固定閾值0.9篩出242條,其中223條正確,正確率是92.15%。乍看之下,它似乎已經超過九成,為什麼還說有過度自信的現象?
因為這組樣本的平均置信度不是90%,而是99.45%。判斷概率是否匹配,應當比較這組實際報出的概率和實際正確性,而不是隻拿分箱左端點作參照。這242條裡仍然有19條錯誤,不能因為統一貼上“高置信”標籤就忽略它們。
低置信區間則提醒我們不要急著講故事。0.5到0.6之間只有1條,0.6到0.7之間只有3條,而且都答對了。這不是證明“模型越沒把握越正確”,而是樣本太少,不足以支持這種規律。每箱人數必須和正確率一起報告,空箱也不能被畫成零錯誤率。
全部樣本都沒有觸發長度截斷。正式批次循環約耗時1.13秒;依賴導入後的實驗流程約1.38秒,包含資源校驗和模型加載;含Python啟動和導入的進程總時長約3.29秒。峰值常駐內存約831MiB。下載與首次環境準備不包含在這些計時中,也沒有測量GPU顯存。這些是本機、該批量與該輸入長度下的測量,不是通用性能承諾。
六、為什麼不能只報一個ECE
ECE把樣本按置信度分箱,再按每箱人數加權計算平均置信度與正確率之差的絕對值:
是箱數,是落入第個箱的樣本集合,是總樣本數。本文預先固定十個等寬箱,空箱貢獻為零,但其正確率保留為空值。完整分箱表隨結果文件一起保存,讀者不必相信一個孤立的彙總數字。
平均置信度減準確率允許不同區間的高估與低估互相抵消;ECE先在箱內取絕對差,因此二者不必相等。本次7.16個百分點和8.37個百分點的差異不矛盾。下一篇會固定預測,只改變分箱方案,檢查測量口徑有多敏感,而不是重新訓練模型尋找漂亮結果。
我們還保留NLL與Brier。前者關注給真實類別分配的概率,對非常確信卻答錯的情況懲罰較重;後者用平方誤差檢查完整概率向量。本篇Brier是兩個類別求和的版本,不能與只計算正類概率誤差的版本直接混比。這些量補充了不同視角,但都不能憑單次開發實驗獲得總體可靠性保證。
七、從官方代碼讀到獨立核驗
官方分類器不是憑空產生一個“可信度頭”。沿著固定版本的實現,先看編碼器輸出,再看首位置隱藏狀態、線性層、ReLU、dropout以及最終兩類別分類層。隨後,本地腳本才把logits轉換成用於審計的概率。官方實現
本次將實際加載的模型源碼與官方固定提交逐字節比較,模型權重也核對了官方文件哈希。保存的每條結果包含原始樣本編號、文本哈希、標籤、兩個logit、概率、預測和token長度。原始句子不隨源碼再分發,因為數據卡沒有提供明確的許可標記;讀者從官方入口獲取並驗證數據身份。
獨立審計腳本不導入主程序的指標函數,而是用標準庫重新從logits計算概率和所有彙總值。另一項輸入核驗重新讀取數據,檢查標籤、文本哈希、樣本順序與三個集合不重疊。我們還故意損壞編號、標籤、預測、正確性、置信度和損失,確認六種錯誤都會被拒絕。自動復算不是人工語義審核,二者不會混稱。
過程中確實遇到失敗:本機原網絡代理一度不可用,雲盤上的舊依賴目錄也卡在導入階段。兩次導入試跑在預測前被終止,記錄保留。最終使用同版本的獨立本地環境完成實驗,沒有換模型、換樣本或刪掉失敗結果來冒充一次順利運行。
八、源碼與復現入口
配套源碼已經公開,並按固定提交逐文件核驗。讀者可從完整源碼目錄進入,先讀運行說明,再對照公式與官方實現地圖。32個公開文件與本地代碼包一致;下載副本的獨立復算和8條真實模型試跑也已通過。
取得源碼目錄並安裝依賴後,先下載固定資源,再執行真實模型試跑與正式實驗:
python execute.py prepare --cache .cache112
python execute.py smoke --cache .cache112
python execute.py formal --cache .cache112
python execute.py audit
python verify_inputs.py --cache .cache112
入口將生成逐條預測、彙總指標、輸入核驗和執行日誌。複用緩存時仍會核對哈希,不依賴作者機器上的隱含路徑。只想檢查算術的讀者可以直接審計隨包保存的結果;這與重新運行神經網絡是兩種不同層級的復現,不能混為一談。
九、下一步研究什麼
當前證據支持一個有限判斷:在這256條開發樣本和固定協議下,模型的平均最大類別概率明顯高於經驗準確率。它沒有回答溫度縮放一定有用、拒答一定能提高可靠性,或換領域後會發生什麼。
後續最值得檢驗的不是“怎樣證明模型不可靠”,而是幾種競爭解釋:差距是否對分箱口徑敏感?簡單概率變換能否改善損失?這種改善是否同時改變錯誤排序?遷移之後,原來擬合的參數還能否沿用?
近期關於推理配置變化與保形預測的研究,也把配置本身視作需要檢查的實驗變量。本次僅核對了該工作的摘要與版本,尚未復現其結果,因此只把它作為後續閱讀線索。2026年研究入口
第一篇最重要的產物,不是一個“已解決可信AI”的結論,而是一份之後可以公平修改、獨立復算、保留負結果的基線。有了它,校準和拒答才成為可以做實驗的問題,而不只是聽起來合理的建議。
參考資料
檢索與訪問日期:2026-10-28。方法論文、模型來源、代碼來源和本次實驗結果分別標明;下列論文數字未被挪作本次測量結果。
- Guo, C., Pleiss, G., Sun, Y., Weinberger, K. Q. 2017. On Calibration of Modern Neural Networks. ICML,本文核對定義與公式,不聲稱完成整篇復現。
- Geoff Pleiss. 作者校準代碼,固定提交。已讀ECE實現;本文獨立實現採用明確不同的分箱端點約定,本次樣本無精確邊界命中。
- Hugging Face. DistilBERT SST-2固定模型版本。
- Stanford NLP. SST-2數據卡;Socher等,2013,原始情感樹庫論文。
- Hugging Face. Transformers分類器固定源碼。
- Doula, A., Mühlhäuser, M. 2026. Auditing Conformal Prediction for Language Models Under Inference-Time Model Shift。arXiv v1,2026-10-20;本次僅閱讀摘要,不依據摘要複述實驗細節。
作者作品推廣
除了寫技術博客,我也在做一些讓日常更有條理的小工具,歡迎瞭解我獨立開發的兩款 App:
- 日常收支小記:記下收支,也給每一筆錢安排好去處。記錄日常賬目,安排預算與儲蓄目標。在 App Store 瞭解。
- 一事微光:從一件小事開始,讓今天多一點微光。按當下的時間和精力選擇行動,記錄完成後的感受與發現。在 App Store 瞭解。
更多技術文章和個人作品,歡迎來我的網站:zffjzz.top。也歡迎把使用感受告訴我,讓這些小工具慢慢變得更好。