可信預測實驗室:從模型置信度到可檢驗的拒答

在 SST-2 的第 230 號樣本上,模型給負面標籤約 0.6403,給正面標籤約 0.3597。只能交一個答案時,它選負面,官方標籤卻是正面。如果事先允許交一個標籤集合,第二個標籤有沒有資格留下?同一批數據裡的第 685 號也被錯判為負面,可這次正面只拿到約 0.0013。兩次錯誤在準確率表裡各佔一格,在集合預測裡卻有了不同的結局。
本篇用一條提前寫定的規則處理這兩個例子,也處理同一劃分的其餘所有句子。模型、文本、標籤和推理預算沿用前篇,改變的是輸出形式。把單個答案改成集合後,審計池多覆蓋了三個真標籤。代價可以逐句點清楚:九句話各多給了一個候選,其中六句話原本就答對了。
把問題寫成一個可以計數的事件
前篇做拒答排序時,覆蓋率的分子是模型願意回答的句子數。這裡的覆蓋率有另一層含義。每個句子都交回一個集合,即使它為空,也佔評測分母的一行。我們數其中有多少行包含官方標籤。這樣既能評價只交一個答案的分類器,也能評價同時保留正負兩類的規則。真標籤在兩種輸出中使用同一列,分母始終相同。
光盯著覆蓋率會遇到一個很實際的問題。若每一行都填上正面和負面,任何來自這兩個標籤的答案都會被覆蓋,卻也失去了判斷情感的用處。因此在登記主要指標時,我們還登記了空集、單元素集合、全集的個數與平均大小。對照組直接取同一個分類頭較大的分數,每行恰有一個標籤。兩種讀數共同回答一個受控問題:允許多選之後,額外返回了多少候選,又有多少錯誤因此得到覆蓋?
用校準池中真標籤的排名劃線
先固定一個已經訓練好的分類器。模型為每句話輸出兩個未經歸一化的數,稱為 logits;對同一行做 softmax,可得到加和為一的兩列分數。為了讓每個候選都能與同一條線比較,給候選標籤定義不符合度,即它與當前模型判斷不相符的程度。這裡使用 LAC 的簡單分數:
是一句影評, 可以是負面或正面, 是分類器在該列給出的分數。分數越大,候選越難被保留。校準階段的每句話有官方標籤,因而只查真標籤所在的那一列。錯判的校準樣本尤其值得保留,因為真類可能恰恰落在很低的概率區間。若只收集預測正確的樣本,門檻所依據的人群就變了;若總取最大概率,恰好把最需要觀察的那列跳了過去。
把校準池的真類不符合度從小到大排序,用一個有限樣本的秩選出門檻。預測時分別試兩個候選,達標的都收入集合:
是校準句子數, 是事先允許的邊際漏覆蓋概率, 指從一開始數的第 個觀測值。若這個秩超出校準樣本數,就把門檻視為正無窮。本篇固定 ,用二百五十六條校準樣本,故應取第二百三十二小的分數;在程序的零基下標中取第二百三十一項。這樣得到的門檻來自一個真實觀測值,遇到相等的候選時予以保留。

為什麼乘數里多一?可以想像把下一條新樣本的真類分數暫時混進校準分數,一共會有二百五十七個位置。如果固定計分規則,且這些樣本可交換,即調換順序不會改變聯合分佈,那麼在沒有並列時,新樣本落在每個秩上的機會相同。把最靠前的規定數量的位置留給可接受分數,便能在校準集與新樣本共同的隨機性下控制漏覆蓋。並列按包含處理時可能更保守。這個論證並不需要事先承諾分類頭的概率刻度已經完美。
最小實驗與評測協議
數據來自 Stanford NLP 的 SST-2 validation。系列開始時就按樣本編號的固定哈希排序登記了三份名單。最前面二百五十六條用於早期探索,接下來的二百五十六條用於校準,餘下三百六十條用於協議審計。程序核對校準與審計的身份、順序、唯一性和交集。SST-2 在歷史研究中已經用過,這批審計樣本的表現也在前文出現過,本次是複用公開數據的方法實驗。IMDb 的開發、校準及最終確認樣本均未參與。
模型採用固定 revision 的英文 DistilBERT SST-2 二分類頭,標籤零表示負面,標籤一表示正面。校準沿用保存的真實 logits,撤去前篇實驗特有的溫度變換,使用原始尺度。校準步驟在分析程序打開審計預測文件前寫出排序及門檻。協議只登記一個目標覆蓋水平,沒有根據審計結果選擇分數、目標水平或空集處理辦法。此次比較也沒有新增語義標籤;判定是否覆蓋只需要把集合成員與數據集標籤對照。
實際執行先驗證緩存的權重、分詞器和數據文件摘要,再在 CPU 上用八條句子試跑,核對分類頭形狀及標籤方向。正式推理逐批讀取全部審計句子,批量上限十六,長度上限五百一十二個 token,使用四線程與單精度前向。最後一維始終是兩個類別,逐行的預測與原檔對齊後才做集合分析。正式前向計時約 1.38 秒,進程峰值內存約 0.96 GB,計時不含包安裝和權重下載。與存檔相比,正式批次 logits 的最大絕對差為零。
九個雙標籤集合改變了什麼
實測不符合度門檻為 0.718652,等價的概率門檻約為 0.281348。回到開頭的兩句話,第 230 號的兩個候選都越過概率門檻,正面作為較小的一列被保留下來。第 685 號只有負面過線,模型曾經自信犯下的錯誤原樣留在結果裡。還有一個不同方向的例子:第 527 號的負面約為 0.5354,原本就選對,正面約為 0.4646,也進了集合。這次多給一個候選並沒有新增一次覆蓋。
| 同一批 360 條審計句子 | 空集 | 單元素 | 雙元素 | 真類被覆蓋 | 平均集合大小 |
|---|---|---|---|---|---|
| 最大分單標籤 | 0 | 360 | 0 | 330/360(91.67%) | 1.000 |
| 固定門檻保形集 | 0 | 351 | 9 | 333/360(92.50%) | 1.025 |
這裡可以不用看模型名字就做一次交叉檢查。兩個概率相加為一,較大者至少為二分之一。校準出來的概率線低於二分之一,所以每行至少有一個候選能過線,空集數必須為零。兩個標籤都能通過時才會出現全集,九個全集各貢獻兩個元素,其餘各貢獻一個,總數為三百六十九。把總數除以三百六十,正好得到表中的平均大小。若此時程序報告了任何空集,就應先排查計算。
九個全集包含所有可能的官方標籤,剩餘二十七次漏覆蓋都發生在單元素集合裡。雖然這一次每句話平均只多給了 0.025 個標籤,新增的九個候選並非個個換來糾錯。把表中的覆蓋差解釋成準確率提高會漏掉這筆成本:讀者拿到雙標籤集合後仍需要決定如何使用它,而本實驗只核驗答案是否在裡面。也沒有用這九句話的文本推斷困難來源,分數接近只描述模型給出的數值關係。
還可以換一個分母來定位讀表錯誤。三百五十一句只給一個標籤,其中三百二十四句的集合包含真類;把這三百二十四句和九個全集加起來,才得到總覆蓋數。如果研究問題轉回“只在給出唯一答案時才作答”,回答率應按三百五十一除以三百六十計算,回答中的錯誤率則按二十七除以三百五十一計算。這兩項描述的是額外規定的答題政策,不能拿其中任何一項替換表裡的經驗覆蓋率。
官方代碼閱讀路線與失敗排查
可以沿著實際張量的形狀讀 TorchCP。先看 LAC 接收一個批次 logits 後如何沿最後一維歸一化,再看傳入標籤時如何按行索引。取真類後,校準矩陣每行留下一個數;不給標籤時,兩列都保留。接下來讀公共分位數函數,檢查它如何計算向上取整的秩、如何處理樣本不足,最後回到 split predictor,看它如何把整張候選分數矩陣交給集合生成函數。本篇使用獨立的標準庫實現,源碼地圖附上核對過的文件和行號,可以逐步對讀。
一個常見失敗是把九成分位數直接交給默認線性插值函數。讀者即便看見兩種實現打印出相近的小數,也應先比較取到的秩,再數有多少候選在兩條線之間。另一個錯誤是把不符合度上界拿來當概率下界,代碼仍會輸出形式正常的集合。檢查第 230 號即可區分這兩種規則。最後檢查評測分母;如果只在給出單元素答案時記分,就悄悄換成了另一項選擇性分類實驗。
獨立復算腳本直接從存檔的兩列 logits 出發,計算候選列減去另一列的差值。二分類 softmax 下,這個差越大,該候選概率越高。腳本按真類差值從大到小排序,然後用入選位置上的差值逐項比較,繞開主程序的指數計算和概率篩選。兩條路徑在七百二十次候選判斷上全部一致,同時核對了樣本身份、官方標籤、集合大小與單標籤基線。這是可重複執行的算術檢查,不涉及重新評斷任何影評的情感。
研究問題與總結
論文給出的邊際保證和表中某一批的覆蓋比例有不同的隨機對象。定理考慮重新取得校準樣本和新樣本時的概率;本次已經固定了一條門檻,數的是同一批三百六十句話裡的命中數。觀察到 92.50% 可以報告為這批的經驗覆蓋,單次超過九成不足以驗證交換性,也不能據此承諾下一條短評、任一情感類別或換域後的長影評都至少九成可靠。
值得接著檢驗的是,若數據來源和計分器保持不變,只重新抽取校準名單,門檻的波動會在多大程度上傳給審計覆蓋?這需要預先寫明重分次數並保留每次結果。今天留下的排序、門檻與逐句集合提供了一個可檢查的起點。對這一次劃分,最明確的結論是:模型仍有三十次單標籤錯誤,九次多選只補回了其中三次,其餘二十七次都能在逐行記錄中定位。
源碼與復現入口
固定版本已公開,可從本篇源碼目錄進入,按復現說明運行,或對照公式與官方代碼映射檢查實現。
在源碼目錄執行 python run.py,即可從隨附的真實模型輸出重建門檻、逐句集合和彙總表;再執行 python audit.py 檢查計數。需要從原始文本開始的讀者可按說明下載鎖定資源並重放推理。源碼包僅提供派生預測和樣本身份,原始影評與模型權重由固定來源獲取。
參考資料
檢索日期為 2026-11-12。
- Angelopoulos、Bates,《A Gentle Introduction to Conformal Prediction and Distribution-Free Uncertainty Quantification》,2021 年首次公開。分割保形的構造與覆蓋定理見第一節。作者全文
- SUSTech-ML,TorchCP,固定版本的分類計分器。LAC 實現
- Hugging Face,英文 SST-2 分類頭與標籤配置。模型固定版本
- Stanford NLP,SST-2,validation 劃分與數據身份。數據固定版本
作者作品推廣
除了寫技術博客,我也在做一些讓日常更有條理的小工具,歡迎瞭解我獨立開發的兩款 App:
- 日常收支小記:記下收支,也給每一筆錢安排好去處。記錄日常賬目,安排預算與儲蓄目標。在 App Store 瞭解。
- 一事微光:從一件小事開始,讓今天多一點微光。按當下的時間和精力選擇行動,記錄完成後的感受與發現。在 App Store 瞭解。
更多技術文章和個人作品,歡迎來我的網站:zffjzz.top。也歡迎把使用感受告訴我,讓這些小工具慢慢變得更好。