兩種光闌與成對樣品

可信預測實驗室:從模型置信度到可檢驗的拒答

對同一句影評,分類器給出“正面”,預測集卻可以同時保留“正面”和“負面”。多留一個選項,可能救回一個錯判,也可能只讓讀者多看一個用不上的答案。在同一批三百六十句短評上,我們換了構造集合的規則。新規則多給出七十四個標籤,淨多覆蓋七句。拆開這七句,實際是十句從漏掉變成命中,另有三句朝相反方向變化。兩種方法約定的覆蓋目標完全相同,交出的集合卻有不同的代價。

復現目標與評測協議

前一篇保持規則不變,檢查總體覆蓋是否掩蓋分組差異。這次保持樣本、模型和目標不變,只替換判斷一個標籤能否入選的計分函數。我們問兩個可以分別核對的問題。第一,哪種方法實際列出的標籤較少?第二,省去的標籤落在哪些句子上,是否含有正確答案?如果只比較平均集合大小,讀者連第二個問題的方向都無法確定。

保形預測用一組帶有官方標籤的校準樣本來定門檻。這裡的覆蓋指真實標籤屬於返回集合,分母是所有審計句子,包括輸出為空的句子。交換性指校準樣本與未來樣本在聯合分佈中互換位置不會改變分佈。在這個條件和固定計分規則下,分割保形法給出對校準集與新樣本共同取概率的邊際保證。它沒有要求兩次有限樣本測量得出相同的命中數。把“同樣覆蓋率”寫進實驗表格時,必須交代相同的是預先要求的九成,還是事後看到的百分比。本次固定前者。

數據來自公開 SST-2 驗證劃分。系列起點已按固定前綴和官方樣本編號的哈希排序,前二百五十六句用於探索,接下來二百五十六句用於校準,其餘三百六十句用於協議審計。這批數據在舊系列和本系列中均有使用史,尤其是審計池的表現已經被看到過,本文屬於方法探索。兩種規則共享校準池,分別在真標籤上取分。審計標籤只用於清點最終命中,絕不拿來把兩行數字調到一樣。沒有新增語義判斷,沒有訪問 IMDb 的任何預測。

核心思想:決定一個標籤要和誰比較

LAC 可以理解為給每個候選標籤單獨設一道概率門檻。設輸入為 xx,正負面標籤之一為 yy,模型經歸一化得到的該類概率為 py(x)p_y(x)。不符合分數衡量候選與模型輸出有多不相容,數值越小越容易入集。LAC 使用 1−py(x)1-p_y(x)。例如兩個候選的概率分別為零點七和零點三,只要入選所需的最低概率低於零點三,兩者就都能進。這段例子描述規則,實際門檻由校準數據給出。

APS 是自適應預測集。它先把同一句的各類概率從大到小排序,再沿這個順序累加。本文采用 TorchCP 明確提供的確定性配置,取到候選本身為止的累計質量。若候選的名次是 rr,排序後第 jj 項概率為 p(j)(x)p_{(j)}(x),則有

sAPS(x,y)=∑j=1rp(j)(x),k=⌈(n+1)(1−α)⌉,C(x)={y:s(x,y)≤q}.s_{\mathrm{APS}}(x,y)=\sum_{j=1}^{r}p_{(j)}(x),\qquad k=\lceil(n+1)(1-\alpha)\rceil,\qquad C(x)=\{y:s(x,y)\le q\}.

其中 nn 是校準句數,α\alpha 是容許的邊際漏覆蓋水平,kk 是從小到大數的秩,qq 是當前方法在校準真類上排第 kk 的分數。ss 可替換為任一預定的計分函數,C(x)C(x) 收下通過本方法門檻的全部候選。這裡排序有兩個方向:句內的概率從大到小,跨句的真類分數從小到大。把第二次排序也寫成降序,會讓同一套代碼產出完全不同的覆蓋。

論文報告的原始構造允許用均勻隨機數處理邊界,討論了邊際有效性以及面對不同難度樣本的適應性。我們關掉實現中的隨機化,使每次標籤變化都能追到一項具體比較。這也限定了本次結論的適用範圍。尤其在二分類裡,第二名的精確累計質量恆等於一。多分類裡的第二名後面還可能有未計入的類別,兩者的數值結構有實質區別。

兩種得分共享校準與審計輸入,各自評價覆蓋和集合大小

圖中每一條支路都先用校準輸入確定自己的閾值,再對同一份審計輸入產生集合。右側兩項指標共同使用這份集合,圖中條塊僅說明計算順序。

官方代碼閱讀路線與最小實驗

從模型接口讀起。固定的英文 DistilBERT 情感分類檢查點對每句給出兩個未歸一化分數,第一列負面,第二列正面。代碼先檢查標籤映射,再斷言每批輸出的行數等於實際句數、列數等於二。正式批大小十六,最後八句單獨成批。填充到批內最大長度,截斷上限五百一十二個詞元;注意力掩碼保留真實詞元。本次用同一 CPU 環境執行八句試跑,再對三百六十句重新分詞並前向。正式推理約一點三六秒,進程峰值約九百五十二兆字節,全部原始輸出與歷史正式記錄逐項一致。校準側則直接複用凍結分數。

沿源碼地圖打開 TorchCP 的 LAC 類,看傳入標籤和不傳標籤這兩條路徑。前者每句只取一項,用來定閾值;後者返回整張候選分數矩陣,用來建集合。APS 繼承相同的調用接口,在內部做排序、累加,再把排名位置映射回原標籤列。忘記最後一步,就可能把“第一名”直接寫成類別零。為隔離其他依賴,入口恢復了官方模塊需要的包目錄,實際執行固定提交的原文件,兩種方法共用庫裡的有限樣本取秩函數。模型前向為單精度,後處理把同一對原始分數轉為雙精度再做歸一化。只將最終結果轉為雙精度無法復現下面的邊界現象。

預先登記的誤差水平為零點一,校準規模二百五十六,對應第二百三十二個真類分數。輸出包含每句身份、官方標籤、兩套候選集合,再從這些記錄計算空集、單標籤、雙標籤及配對命中數。備用的多分類實驗也有入口條件:只有兩方案在少於十八句上給出不同集合,才啟用登記的手寫數字任務。實際有九十二句不同,按協議結束二分類實驗,沒有為追求更大的差距再挑任務。

本次實際驗證:省下的標籤去了哪裡

固定九成目標 實際命中 空/單/雙標籤句數 總標籤數 平均大小
LAC 333/360(92.50%) 0/351/9 369 1.025
確定性 APS 340/360(94.44%) 0/277/83 443 1.231

兩種方法都保留了排名第一的類別。單答案分類正確的三百三十句自然都能覆蓋。餘下三十句更能說明問題:LAC 單獨救回三句,APS 單獨救回十句,另有十七句兩邊都漏掉。這裡的“救回”只表示正確標籤重新出現在備選中,模型的第一選擇和正確數均未改變。這個區分對讀者很實際:如果系統展示兩個標籤後仍然默認採納第一項,那麼集合覆蓋提升不會自動變成最終決定的準確率提升。

讀逐句文件時,可以在兩個變化方向中各取官方編號最小的一句。編號一四五的官方標籤為負面,模型卻給正面約百分之八十六的概率。LAC 只列正面,APS 保留了兩項。編號一八四同樣是負面,模型也偏向正面,但首選概率約為百分之六十六。這回是 LAC 收下兩項,APS 只列正面。兩個例子都能從編號和兩列分數獨立還原,無須讀者同意關於句子語氣的任何主觀解釋。它們還指出了為什麼“較大的集合包含較小的集合”容易讀錯:本表的大小是跨句平均,無法把平均數之間的不等式逐行套用。

把兩行分別還原成工作量也能看到不同含義。若每多返回一個候選就要核對一次,LAC 只有九句需要多查,APS 有八十三句。若要求保住每一條原來已經命中的句子,增加平均集合大小也無法滿足這個要求,三個方向相反的配對例子已經足夠否定它。文章沒有為漏掉真類與多看一個候選指定相對價格,因此無法從這張表推導一個普遍優勝者。在固定目標的同場對照中可以報出這兩種代價;若要論證相同實測覆蓋時誰更省,需要新的校準設計與獨立評測。

失敗排查:閾值顯示為一,為什麼只有八十三個雙標籤

最容易誤判的輸出藏在小數位裡。校準池有二十五次首選錯誤,另外二百三十一句首選正確。對確定性 APS,正確句的真類排第一,其累計質量小於一;錯誤句的真類排第二,理論累計質量恰好為一。第二百三十二個分數剛好踩進後一組。在精確算術下,這個閾值會讓兩個候選全部入集。實際官方實現打印的值是 0.9999999999999999,比一小一個可以表示的間隔。

獨立腳本保留相同的雙精度歸一化這一基礎運算,改用逐行加法、列表排序和顯式比較來還原每個集合。審計池中,兩項相加有八十三句落在一的前一個浮點數上,二百五十七句恰好為一,二十句落在一的後一個浮點數上。只有第一組的第二名通過閉區間判斷。把閾值打印到兩位小數再抄回程序,等於直接移動了門檻。哪怕顯示的覆蓋表能對上,也應檢查真正參與比較的值、比較符號以及兩次計算的精度。

為檢驗這個解釋,我們追加了一個診斷:在校準與審計兩側都將最後一項累計質量明確設為一,再從頭取秩。結果三百六十句均返回雙標籤,均覆蓋,合計七百二十個標籤。這個對照只用於定位數值效應,保留原註冊結果作為主表。它說明八十三個雙標籤在這臺機器上可以逐個復算,但把這些句子稱為算法特別識別出的困難樣本,超出了證據。改變計算設備或概率計算順序時,應該先比對末項質量的計數,再解釋覆蓋差異。

源碼與復現入口

固定版本已公開,可從本篇源碼目錄進入,按復現說明運行,或對照公式與官方代碼映射檢查實現。

安裝固定依賴後,在源碼目錄運行:

python run.py

這條最小命令讀取已保存的真實預測,輸出逐句集合和彙總表。接著運行 python audit.py,可核對每個候選的歸屬、配對計數以及末項置一的診斷。若從原文重放模型,按說明先獲取固定權重與數據,再依次執行試跑與正式推理。發佈包只攜帶可分發的派生量;數據身份、分詞配置和依賴版本都有記錄。初次開發執行曾在獨立腳本落盤前調用它而退出,補齊腳本後重新執行四步並保留兩次退出記錄。

研究問題與總結

下一次要檢驗確定性規則究竟能否利用樣本難度,可以在新的多分類開發任務上事前凍結數值端點約定,同時記錄倒數第二名和最後一名的得分。前者仍攜帶排序結構,後者在數學上恆為一。這樣即使觀察到集合大小變化,也能追問變化來自哪一項。在當前這組短句上,能夠核實的是少列七十四個候選伴隨淨少覆蓋七句,以及浮點邊界改變了哪些第二候選入選。關於困難文本、其他模型或未來長影評的解釋,仍需要各自的獨立證據。

參考資料

檢索於 2026-11-16。


作者作品推廣

除了寫技術博客,我也在做一些讓日常更有條理的小工具,歡迎瞭解我獨立開發的兩款 App:

  • 日常收支小記:記下收支,也給每一筆錢安排好去處。記錄日常賬目,安排預算與儲蓄目標。在 App Store 瞭解。
  • 一事微光:從一件小事開始,讓今天多一點微光。按當下的時間和精力選擇行動,記錄完成後的感受與發現。在 App Store 瞭解。

更多技術文章和個人作品,歡迎來我的網站:zffjzz.top。也歡迎把使用感受告訴我,讓這些小工具慢慢變得更好。