可信預測實驗室:從模型置信度到可檢驗的拒答

同一套標稱九成覆蓋的規則,在一批影評上只覆蓋了 99/128,在另一批卻覆蓋了 126/128。兩批用的是同一個分類器、同一種計分方法,甚至來自同一份預測文件。該查代碼,還是該改寫我們對“九成”的理解?這次把二者分開:先由第二個程序核實每一次命中,再問這個百分數對誰成立。
上篇用固定名單做了一次校準,在三百六十條審計影評中覆蓋了三百三十三條。這給出了一個可復算的分數,卻沒有告訴我們換一份校準名單會怎樣。本篇只改變樣本承擔的角色。兩百次內部劃分的平均覆蓋率為 90.51%,其中 82 次低於 90%。這兩個讀數可以同時為真。要理解它們,需要先在紙上寫出抽樣時哪些東西會變。
先把“保證”寫成一個事件
給定一句電影短評,分類器給出正面、負面兩列分數。我們允許規則交出一個標籤集合,例如只交出正面,也可以把兩種標籤都交出來。評測者手中有數據集提供的真標籤;只要它在集合裡,就記一次覆蓋。因此一個兩個標籤都收下的集合必然命中,卻沒有解決情感二選一的問題。覆蓋率衡量有沒有漏掉答案,不衡量這個答案有多具體,更不是拒答實驗裡“願意回答的比例”。
分割保形預測把一部分帶標籤的樣本專門用於決定門檻。模型與計分規則須事先固定。設輸入為 ,候選標籤為 ,模型歸一化後的類別分數為 。我們沿用最簡單的分類非符合度:。分數越高,表示這個標籤與模型輸出越不相符。給每一條校準樣本只算真標籤的分數,然後從小到大排隊:
這裡 是校準條數, 是容許的邊際漏覆蓋率, 從一開始編號, 是第 小的分數。規則在測試時比較的是各候選標籤,根本不需要知道真標籤;只有算命中率時才用到真標籤。本次每份校準名單有一百二十八條,容許漏掉一成,向上取整得到第一百一十七名。把門檻處的相等算作入集。若所需秩超出名單長度,應使用無窮門檻;本次沒有觸發這個分支。
論文給出的保證可以這樣讀。把校準樣本和再抽的一條帶標籤樣本擺在一起,如果互換它們的位置不改變聯合分佈,稱它們具有交換性。對真類分數沒有並列的情形,新樣本在這一隊分數里的名次等可能。它落在允許名次內的概率就是 ,約為百分之九十點七。一般情形保留相等項時,通常寫成下界:
下標裡的 是隨機的校準名單, 是隨機的新樣本及標籤,集合隨名單變化。這裡同時對兩者取概率,叫邊際覆蓋。如果把名單釘死,問這個門檻對未來人群能覆蓋多少,條件已經變了;如果再指定某句話、某個真實類別或某一類寫法,問題又變了一次。原來的不等式沒有逐一回答這些條件問題。
最小實驗:兩種觀察窗,共用一個門檻

取公開的英文 SST-2 驗證劃分和已經微調的 DistilBERT 分類頭。這個數據域在系列早期就用過,審計池結果也已觀察過。重新洗牌不會讓舊材料變成首次盲測。我們保留此前登記的探索、校準、協議審計三池,只在原來的二百五十六條校準記錄裡改變角色。沒有把外部審計樣本放回校準,沒有讀入目標域 IMDb,也沒有添加任何語義標籤。
在看本次劃分結果前,協議固定兩百個種子,從 12800 到 12999。將種子、冒號、樣本的十進制編號拼起來取哈希,按摘要排序,前一半擬合門檻,後一半檢查覆蓋。這是便於復算的偽隨機置換;沒有按真標籤分層,沒有從多套種子裡挑結果。每一對內部名單互不重疊,不同對卻反覆使用相同的原句。固定那三百六十條審計樣本是第二個觀察窗,每次只接收已算好的門檻,分別統計,絕不與內部留出結果合成一個總分。
兩個窗口回答不同的問題。內部窗口中,擬合半池多分到一條模型打分很低的真標籤,留出半池就少掉同一條記錄;名單的組成和門檻都會變。固定窗口中,評測對象始終是那三百六十條,任何覆蓋變化只能來自門檻變化。比較兩個窗口有助於定位波動,卻不能把兩列均值差當成某種方法帶來的提升,因為分母、具體句子和抽樣機制都不同。
真正運行了什麼,讀數如何複查
校準池複用已有真實模型輸出。審計池從鎖定的公開資源開始,先在中央處理器試跑八條,再按每批十六條重跑全部三百六十條。模型處於評估模式,使用單精度,截斷上限為五百一十二個詞元;每批輸出為行數乘二的實數矩陣。正式前向約 1.30 秒,進程峰值內存 964,608,000 字節,與歷史審計輸出逐項比較,正式批次的最大分數差為零。兩百次變的是分工,沒有兩百次重新分詞或重新訓練模型。
| 統計口徑(各 200 次) | 平均覆蓋 | 最少和最多命中 | 低於九成的劃分 |
|---|---|---|---|
| 同池留出,每次 128 條 | 90.51% | 99–126 / 128 | 82 / 200 |
| 固定審計,每次 360 條 | 92.04% | 304–343 / 360 | 33 / 200 |

橫軸是一次實際命中數除以當次分母;縱軸是產生這個讀數的劃分數。每幅圖單獨數兩百次,縱軸刻度也分別標出。虛線標記名義目標,沒有擬合平滑曲線。第一幅圖上,命中一百一十五條仍然不夠九成,要到一百一十六條才越過線。第二幅圖上恰好三百二十四條就是九成,統計“低於”時不包括它。僅僅把打印的百分數四捨五入後比較,就可能把一個邊界問題誤報成實驗異常。
沿第一條日誌就可以核查表格的來歷。種子 12800 的門檻約為 0.93681,內部留出命中 121 條;固定審計漏掉 23 條,命中 337 條。門檻數值大,是在非符合度軸上放寬了允許範圍,不是要求分類器有九成三以上的信心。將全部內部命中數相加得 23,171,除以 25,600 個評測位置,得到表中均值。這個分母是“劃分與樣本”的組合位置數,並沒有二萬五千六百條獨立影評。
換一種閱讀順序:沿著樣本編號往下看,某條影評被留出的次數因劃分而異,實際從八十一次到一百二十一次。二百五十六條裡,有二百一十八條在自己被留出的所有次數都命中,有十五條一次也沒命中,其餘二十三條會隨門檻改變。這裡固定的是同一句話及同一個官方標籤,改變的是其他句子組成的名單。十五條從未命中並不證明它們各自在自然人群中正確答案出現的概率為零;這些計數只描述已經算過的門檻。相反,若把均值印在每條記錄旁邊,寫成該句有九成機會受到保護,就丟掉了這些可以直接核對的差別。
官方代碼閱讀路線與獨立校驗
看 TorchCP 時可以先跳過訓練接口,從分類計分器的兩個入口讀起:給定標籤就取相應列,不給標籤就為所有列計分。然後去公共工具裡找有限樣本秩,它調用第幾個順序統計量,而不是在兩個相鄰數之間插值。最後讀分割預測器,確認拿去比較的分數方向。模型一側只需對照 Transformers 的分類頭和標籤映射。讀完這條路線,就可以分辨哪部分是已有的集合規則,哪部分是本文新加的重複劃分。
本地分析使用雙精度還原兩類概率,正式獨立復算則完全繞開這段概率代碼:在二分類下,相反類減真類的原始分數差越大,真類的非符合度就越大。因此第二個腳本可以直接排分數差,以倒數第十二名為門檻,只在核對數值門檻時才做變換。腳本重建每一對名單,逐一對照兩套未覆蓋編號,最後才比對彙總。這樣即使錯取了負面類別那一列,也不容易在兩份實現裡同時矇混過關。
失敗排查:先分清算術錯誤和研究錯誤
第一次獨立核對在彙總表報錯。定位後,逐樣本的入集判斷都相同,差的是固定審計均值的最後一個浮點位:一條路徑先算平均命中數再除以分母,另一條先加總所有整數再做一次除法。最終實現保留整數分子和分母,到輸出時才相除。復跑後兩百個閾值、九萬七千六百個真類入集判斷及按編號的計數都一致。這個修正不調整種子、閾值或容許誤差,也沒有刪掉低於目標的劃分。
還有一種錯誤不會讓程序報錯:把圖上兩端當作總體覆蓋率的置信區間。兩端只是這批數據與這組種子實際經歷過的極值。增加種子會把同一組分數的更多排列展示出來,卻不會從現實世界補進一條新的影評。尤其是內部兩半互為補集,難例被分到哪一側會同時影響兩側。我們既不把這些命中當獨立伯努利試驗來給總體均值畫誤差線,也不把八十二次低於線解釋為定理有百分之四十一的機會失效。
研究問題與總結
作者的解釋是:一個固定池的平均數可以接近名義覆蓋,同時若干固定樣本持續漏掉;“接近目標”和“每個對象都受到同樣保護”不是同一個假設。想檢驗新來源上的覆蓋,需要預先鎖定新來源、預測配置和審計名單。想檢驗某類短評,則要先定義類別或長度規則,再逐組報告分母,不能先找今天最差的十幾條再給它們起一個語義名稱。這兩項都超出此次重劃分的證據範圍。
下一步可檢驗的問題更小:保持計分器不動,只減少校準名單的長度,記錄向上取整後的名次何時跳動,集合大小是否也跟著跳。今天的實驗刻意沒有改變長度,因此能把波動歸到名單及門檻,卻還沒有證據把它歸到樣本量。留住這個區別,比再挑出一份恰好覆蓋九成的名單更有用。
源碼與復現入口
固定版本已公開,可從本篇源碼目錄進入,按復現說明運行,或對照公式與官方代碼映射檢查實現。
進入源碼目錄執行 python run.py,可從隨包的真實輸出重建劃分明細、逐編號計數和彙總表;執行 python audit.py 可獨立複查。需要重做分詞和推理時,按說明獲取固定版本的模型和原始數據。源碼不分發模型權重或原句。
參考資料
檢索日期為 2026-11-13。
- Angelopoulos、Bates,《A Gentle Introduction to Conformal Prediction and Distribution-Free Uncertainty Quantification》,2021 年首次公開。分割保形的構造與覆蓋定理見第一節,重複劃分評測見第三節。作者全文
- SUSTech-ML,TorchCP,固定版本的分類計分器。LAC 實現
- Hugging Face,英文 SST-2 分類頭與標籤配置。模型固定版本
- Stanford NLP,SST-2,validation 劃分與數據身份。數據固定版本
作者作品推廣
除了寫技術博客,我也在做一些讓日常更有條理的小工具,歡迎瞭解我獨立開發的兩款 App:
- 日常收支小記:記下收支,也給每一筆錢安排好去處。記錄日常賬目,安排預算與儲蓄目標。在 App Store 瞭解。
- 一事微光:從一件小事開始,讓今天多一點微光。按當下的時間和精力選擇行動,記錄完成後的感受與發現。在 App Store 瞭解。
更多技術文章和個人作品,歡迎來我的網站:zffjzz.top。也歡迎把使用感受告訴我,讓這些小工具慢慢變得更好。