放大鏡下的分格樣本盤

可信預測實驗室:從模型置信度到可檢驗的拒答

同樣是九成,分母是誰?

把一批影評交給情感分類器,允許它在拿不準時同時給出“正面”和“負面”。在三百六十個句子裡,真實標籤有三百三十三次出現在返回集合中。如果讀者只看這一個數,很容易對負面影評也寫下“覆蓋九成”。但把負面句單獨取出來,分子變成一百五十八,分母變成一百七十六,離九成還差一次命中。整批預測可以同時支持這兩種觀察。

為什麼值得再做一次實驗?上一篇改變校準樣本數,看到有限樣本分位數能讓返回集合突然擴大。這一篇把校準樣本數恢復到完整的二百五十六,所有句子共用一個閾值,連返回哪個標籤都固定下來,只改變報告時的分母。讀者可以下載逐句結果,分別從類別、長度和兩者的交叉格子出發,算回同一張總表。這裡的“安全”只考察返回集合是否包含官方標籤,其他意義上的安全性需要各自的指標。

一個閾值怎樣變成一張分組表

分類器為每個句子給出兩列原始分數,稱為 logits。先對它們做 softmax,即對指數權重歸一化,得到兩個標籤各自的預測概率。再把候選標籤的概率從一中減去,得到不符合度。模型給某個候選的概率越低,把它列入答案需要容忍的不符合度就越高。這個簡單的打分方法通常稱為 LAC。校準時只取每句真實標籤那一列,按從小到大排序。

s(x,y)=1−py(x),k=⌈(n+1)(1−α)⌉,C(x)={y:s(x,y)≤s(k)}.s(x,y)=1-p_y(x),\quad k=\lceil(n+1)(1-\alpha)\rceil,\quad C(x)=\{y:s(x,y)\leq s_{(k)}\}.

這裡的 xx 是句子,yy 遍歷兩個候選標籤,py(x)p_y(x) 是模型給該標籤的概率。nn 是校準句數,α\alpha 是預設的漏蓋概率,s(k)s_{(k)} 表示從一開始編號的第 kk 小校準分數。本次取 n=256n=256、α=0.1\alpha=0.1,所以取第 232 個值;代碼保留完整精度,用小於等於判斷並列。C(x)C(x) 就是返回的集合。審計時先為兩個候選計算成員資格,兩個決定都寫完,才用官方標籤檢查命中。

同一校準閾值與審計分數生成集合,再按總體、標籤和長度彙總

理論上,若校準樣本與新的帶標籤樣本可交換,即調換樣本次序不會改變聯合分佈,並且評分規則獨立於這次校準,則上述秩給出邊際覆蓋下界。“邊際”指同時考慮校準樣本和新樣本的隨機性。把某個負面句代入公式,公式會返回一個確定的集合,並不會額外告訴讀者“這個句子的真實標籤有九成概率在裡面”。Angelopoulos 與 Bates 在教程中分別處理了邊際覆蓋和分組覆蓋;組內有效性需要額外的構造或假設。

對一份已經跑完的數據,關係更直觀。只要分組互斥、窮盡,總命中數就是各組命中數之和,總句數也是如此。總體比例相當於按各組句數加權的平均值。如果想讓每一類都達到某個下界,僅僅約束這個平均值留出了很大的自由度。現實審計需要同時回答兩件事:平均值由哪些行組成,每一行究竟積累了多少證據。

最小實驗與評測協議

使用公開的英文 SST-2 驗證劃分,以及在 SST-2 上微調的 DistilBERT 分類檢查點。系列開始時已按穩定身份的哈希順序登記全部樣本,最前面二百五十六條留作探索,接著二百五十六條用於校準,餘下三百六十條用於協議審計。SST-2 在往期項目中使用過,這批審計結果也在本系列出現過。這裡檢驗一種報告方法,解釋限於歷史開發數據。IMDb 的探索、校準和最終確認池均未參與。

本次分組協議先落盤。類別直接取官方正負標籤。長度取分詞器輸出中有效位置的數量,包含首尾特殊符號,排除批內補齊的位置。長度邊界沿用前面研究高置信錯誤時採用的十六和三十二,兩端相等時歸入較短的一檔。本次審計所有句子的有效長度都低於截斷上限,因此這批記錄可以與早先按原始分詞數劃檔的定義對照。換分詞器時,同一句子可能跨檔,復現時應一起鎖定詞表和分詞器版本。

先用八條句子在中央處理器上試跑,再對完整審計池執行前向,批大小十六,四線程,單精度,關閉訓練模式。正式前向含分詞和構造記錄耗時約 1.26 秒,進程峰值內存 944160768 字節。重跑後的全部原始分數與歷史正式記錄逐值相等。校準池複用固定的真實模型分數,本次重新排序得閾值 0.7186523761。所有組使用這一個閾值,不在審計結果上挑切點、擬合溫度或重新選模型。

本次實際驗證

分母 包含真標籤/句數 覆蓋率 返回兩個標籤
全部 333/360 92.50% 9
真負面 158/176 89.77% 5
真正面 175/184 95.11% 4
短,至多 16 83/86 96.51% 1
中,17 至 32 179/199 89.95% 5
長,超過 32 71/75 94.67% 3

讀中等長度這一行要看整數。如果只保留一位小數,約九成的數字很容易掩蓋它實際落在線的哪一側。這裡一百七十九除以一百九十九略低於九成,離目標不到一個樣本的步長。真實標籤維度和長度維度各自都可以拼回總體,同一個句子同時屬於一個標籤組和一個長度組;把表中後五行都相加會把每句話數兩遍。

把兩種分組交叉後,六格的分子與分母如下。列方向從短到長,行方向區分真標籤。完整列出各格可以檢查哪幾格共同構成了前表的一行,也讓樣本很少但比例很高的組保留在讀者視野裡。

真標籤 短句 中等長度 長句
負面 42/43 81/94 35/39
正面 41/43 98/105 36/36

在二十個中等長度的漏蓋樣本里,十三個為負面,七個為正面。中等長度負面組的覆蓋率為 86.17%,佔全部二十七次漏蓋的十三次。這兩個比例回答不同問題。前者衡量進入這一格後有多大比例被覆蓋,後者描述審計工作量會集中在哪裡。假設要設計一次後續人工讀例,後者能幫助安排閱讀預算,但本次沒有請人判斷諷刺、否定或標籤歧義,因而不能把這十三條歸為某種語言現象。

長句正面組的三十六次全部命中也值得停一下。在這格中改變一個命中,比例就會移動約 2.78 個百分點。在中等長度組,改變一次只移動約半個百分點。零次觀測漏蓋與未來漏蓋概率為零之間隔著抽樣問題。六個交叉格共用同一校準閾值,觀察到的最高和最低格子還經過了並列比較;若憑一次排序就給模型下穩定強弱的結論,下一份數據很可能給出不同的次序。

還可以做一次手算,體會組內覆蓋和類別佔比的差別。先遮住長度表中的中等組,只留下短句和長句,它們合起來是一百六十一句,覆蓋一百五十四句。把中等組放回,才恢復到三百六十句。兩次計算使用的標籤集合逐個相同,合併後的比例仍會隨各組的比重移動。以後遇到另一批影評,即使每個長度組內部的覆蓋率恰好保持原值,單憑總體比例改變也無法斷定模型退化。應同時列出新的組內分子與分母,才能把樣本構成的變化同組內表現的變化區分開。

官方代碼從哪一行讀起

從 TorchCP 的分類評分文件開始,看指定真實標籤時如何沿類別維取值,再看要求對全部標籤打分時如何保留兩列。接著讀公共函數中的向上取整與次序統計量,最後到分割預測器裡追蹤已校準閾值進入集合生成函數的過程。這三處分別對應“取哪一列”“在多少條上定閾值”“何時把候選加入集合”。本地源碼地圖列出了固定提交與具體行號,可把輸入維度和返回值一項項對齊。

分類頭使用 Transformers 官方類,輸出形狀為批內句數乘二。教學腳本獨立實現後處理,保留顯式排序和標籤列表,便於審查中間狀態。獨立核對腳本走另一條運算路徑:在二分類下,對方標籤分數減候選標籤分數,所得差值與不符合度嚴格同向。數一數有多少校準差值嚴格小於候選差值,即可判斷它是否落在閾值以內。腳本從歸檔 logits 出發,核對七百二十個成員資格,再獨立彙總所有十二行計數,實際執行通過。這屬於算術復算。

失敗排查與可檢驗的解釋

最容易無聲改變結論的是用預測標籤分組。它在收到句子時即可得到,回答的是“模型判成負面的那些句子有多少被覆蓋”。本篇的負面行按真實標籤劃分,離線評測時才能計算。若把它直接寫成一條在線分流規則,就隱含了部署時已經知道答案的條件。長度組可以在推理前用同一個分詞器得到,但它與句子難度之間的關係仍需獨立驗證。

再檢查返回集合的大小。本次沒有空集,三百五十一句返回一個標籤,九句返回兩個。每一個雙標籤集合在二元任務上都會包含真標籤。只看命中計數會讓讀者看不見這部分信息成本。反過來,只數最高分標籤會把“雙標籤包含真類但首選錯誤”的句子記成失敗。復現者可以先檢查各組雙標籤數相加是否都等於九,再檢查分母,最後才比較百分數。這樣能幫助定位是集合計算錯了,還是彙總階段丟了記錄。

研究問題與總結

一個可檢驗的後續假設是,在新的同來源樣本里,中等長度負面句仍會比同長度正面句更容易漏蓋。驗證它需要在看新結果前固定詞表、分界、主比較和樣本預算,並報告兩組各自的遺漏數與不確定性。另一個解釋是當前兩組的難例碰巧集中在這批句子裡。本次單次分割無法區分兩種解釋。如果改成每組各自校準,還會給小組分到更少的校準樣本,重新遇到上一篇討論的有限樣本取整問題。本篇保留原閾值,給未來的比較留下一份可核對的共同起點。

源碼與復現入口

固定版本已公開,可從本篇源碼目錄進入,按復現說明運行,或對照公式與官方代碼映射檢查實現。

進入源碼目錄運行 python run.py,即可從包內真實分數重建逐句集合、分組計數和輸入摘要,再運行 python audit.py 獨立核對。需要重做前向時,按說明安裝鎖定依賴並準備固定版本資源,依次運行八條試跑和完整審計。核對耗時時請區分模型前向循環與包含導入、加載和退出的整條命令,兩個數字在運行記錄中分別給出。

參考資料

檢索日期為 2026-11-15。

  • Angelopoulos、Bates,《A Gentle Introduction to Conformal Prediction and Distribution-Free Uncertainty Quantification》,2021 年首次公開。分割保形的構造與覆蓋定理見第一節,組平衡和類別條件覆蓋見第四節。作者全文
  • SUSTech-ML,TorchCP,固定版本的有限樣本取秩及越界處理。分位數實現
  • Hugging Face,英文 SST-2 分類頭與標籤配置。模型固定版本
  • Stanford NLP,SST-2,validation 劃分與數據身份。數據固定版本

作者作品推廣

除了寫技術博客,我也在做一些讓日常更有條理的小工具,歡迎瞭解我獨立開發的兩款 App:

  • 日常收支小記:記下收支,也給每一筆錢安排好去處。記錄日常賬目,安排預算與儲蓄目標。在 App Store 瞭解。
  • 一事微光:從一件小事開始,讓今天多一點微光。按當下的時間和精力選擇行動,記錄完成後的感受與發現。在 App Store 瞭解。

更多技術文章和個人作品,歡迎來我的網站:zffjzz.top。也歡迎把使用感受告訴我,讓這些小工具慢慢變得更好。