可信預測實驗室:從模型置信度到可檢驗的拒答

獨立樣本盒旁的機械限位器

多回答的十七句從哪裡來

同一臺情感分類器處理三百六十句影評,第一份報告寫著“回答三百零四句,錯十四句”,第二份寫著“回答三百二十一句,錯十六句”。兩份報告都符合“回答出去的句子裡,錯誤比例不高於百分之五”。如果只能保留一份作為獨立評測,應該保留哪份?光看分子分母還缺一條記錄:誰在什麼時候看過這三百六十句的正確答案,又用答案做過什麼決定?

第一份報告用另外二百五十六句選好閾值,再來計數。第二份報告先把三百六十句的標籤攤開,找出一條能多回答一些的分界線,隨後在原地計數。多出的十七句裡有十五句答對。那十五句是真實的正確答案。問題出在讀者若帶著第二份報告走向下一批影評,會誤以為這條分界線已經經受過一次獨立檢驗。

上一篇固定了接受條數,研究少量錯誤給拒答收益帶來的抽樣波動。這次把固定的東西換成風險預算,接受多少句由數據決定。新增實驗只改變用來選擇閾值的樣本池。我們保存了所有候選的計數、單獨的校準選擇文件和一次刻意洩漏的對照,讀者可以沿著這三份記錄判斷,標籤究竟在哪一步影響了答案。

從論文的風險定義到一條可執行的規則

Geifman 與 El-Yaniv 在二〇一七年發表的選擇性分類論文中,把做什麼預測和是否交付這次預測分開。論文研究了怎樣用統計上界控制風險,並在圖像分類任務上報告結果。本篇借用覆蓋率和選擇性風險的定義,在英語短句上執行一個更簡單的經驗規則。論文對其程序給出的高概率性質需要相應的假設和計算,本實驗沒有計算這樣的上界。

記第 ii 句的原始置信分數為 sis_i,預測標籤和公開標籤分別為 hih_i 和 yiy_i。二分類頭給出兩個實數,經 softmax 歸一化後,取兩個概率中的較大者作分數。對候選閾值 tt,接受集合、覆蓋率和條件錯誤率寫作

At={i:si≥t},Ct=∣At∣/n,Rt=∑i∈At1[hi≠yi]∣At∣.A_t=\{i:s_i\ge t\},\qquad C_t=|A_t|/n,\qquad R_t=\frac{\sum_{i\in A_t}\mathbf{1}[h_i\ne y_i]}{|A_t|}.

這裡 nn 是當前池的總句數,豎線表示集合大小,方括號裡的判斷為真就計一。覆蓋率的分母始終是全池;風險的分母隨接受集變化。若一句都不回答,覆蓋率可以記零,條件錯誤率沒有定義。分數只負責決定是否接受,預測為負面和預測為正面的樣本走同一條規則。這裡測量的是給定任務與標籤下的分類錯誤。

此次掃描前寫下八個候選值,依次為 0.50、0.90、0.95、0.97、0.98、0.99、0.995、0.999。對每個非空接受集,把錯句數乘二十,與接受數比較,前者小於等於後者才有資格入選。從合格者中取接受數最多者,並列取較小閾值。若全部失敗,就拒答全部。這樣連舍入、平局和空集都不需要看到審計結果後再做決定。分數恰好等於閾值的樣本也屬於接受集。

實驗設置與標籤讀取順序

數據是斯坦福團隊公開的 SST-2 驗證劃分。項目最初按樣本編號加固定前綴計算哈希並排序,依次劃出探索、校準和協議審計池。本篇複用第二池的二百五十六條預測,使用第三池的三百六十條作評估。兩個池的樣本編號互斥。SST-2 在此前的研究中用過,審計池的整體表現也已公開。這裡的“獨立”限定在本次閾值選擇的數據流;重新執行腳本無法抹掉研究者以往對這些數據的認識。沒有訪問 IMDb,也沒有從文本含義出發新增任何人工標籤。

上排先鎖閾值再評估,下排用同一份審計數據選擇並報告

上排的滑塊在審計樣本到達前就鎖住。實際運行先單獨啟動選擇進程,輸入是校準預測和原始劃分清單,輸出文件保存被選值及八個候選的表現。然後在凍結的模型上重放審計池預測。下排複用同一套比較函數,也用相同的風險預算,唯一的干預是把選擇函數的輸入換成審計池自己。下排有完整的標籤迴路,所以在結果文件中明確標為洩漏對照。

這個控制還固定了計算機會。兩邊各看八個候選,都沒有搜索不同溫度、文本模板或拒答分數。規則選擇過程中既不更新模型參數,也不讀取句子內容挑例子。校準樣本數和審計樣本數沿用歷史劃分,兩邊用於選擇的分母不同。因此觀察到的差額描述這兩條具體流程,無法從一次配對中拆出樣本量、抽樣組成以及同池選擇各自貢獻了多少。

最小實驗與官方代碼閱讀路線

從官方 DistilBERT 的序列分類類開始讀。它從編碼器輸出取首位置的表示,經過線性變換、激活、丟棄層和分類層,得到每個樣本兩個未歸一化分數。實際推理打開評估模式,標籤映射核對為零代表負面、一代表正面。輸入是批大小乘以填充後序列長度的整數張量,輸出的第二維恆為二。讀到這裡就可以轉到本篇的模型入口,找到計算最大概率、寫出逐句身份、原標籤和正確性的位置。

環境固定為 Python 3.12.14、PyTorch 2.6.0、Transformers 4.49.0,在 CPU 上以單精度和四線程運行。模型、分詞器、數據文件與歷史記錄逐項核驗哈希,使用原有緩存。先取八句做冒煙檢查,再按每批十六句重放三百六十句,最大長度五百一十二個詞元。正式批次的 logits 與歷史快照逐值相同,推理循環用時約一點三〇秒,進程峰值常駐內存約九百四十五兆字節。這個時間不含導入、首次下載和寫博客的時間。校準預測來自已歸檔的真實推理,本次沒有為它重複付出模型計算。

只復算表格時,讀者不需要下載權重。先在配套源碼目錄運行下面的最小命令,查看選擇文件和結果文件,再運行獨立審計。希望驗證模型環境時,按復現說明準備固定資源,重放冒煙批次和正式批次。小批次與原記錄的最大分數差約為二點四乘十的負七次方,標籤一致;獨立的正式批次逐值核對讓這個小差異的影響可以定位。

python run.py
python audit.py

八個候選在哪一步分出勝負

下表的每個格子都是“錯誤數/接受數”。校準列單獨決定上排閾值,審計列用來復核它,同時也展示故意洩漏的一排能看到多少信息。對每列從上到下檢查資格,再在合格格子中找最大分母,就能用紙筆重建兩個結果。

閾值 校準池(共 256 句) 審計池(共 360 句)
0.50 25/256 30/360
0.90 22/247 23/343
0.95 16/239 21/334
0.97 15/236 20/329
0.98 12/231 16/321
0.99 10/218 14/304
0.995 5/209 10/282
0.999 1/158 6/225

本次實際驗證中,校準列的分水嶺在相鄰兩行。閾值 0.98 留下二百三十一句,十二個錯誤要求至少二百四十句作分母才能達標。提高到 0.99 後,十個錯誤對應二百一十八個回答,約為百分之四點五九。繼續提高閾值仍然合格,卻會少回答。鎖定這條線後,在審計池接受三百零四句,覆蓋率百分之八十四點四四,風險百分之四點六一。

洩漏對照在審計列看到的是另一種邊界。閾值 0.98 接受三百二十一句,有十六個錯誤,剛好多於合格所需的三百二十個回答。再往下放寬到 0.97 會多交付八句,其中四句錯誤,於是超出預算。洩漏規則挑中的格子給出百分之八十九點一七的覆蓋率,風險為百分之四點九八。若只比較風險,它還略高於鎖定規則。這裡顯得樂觀的是“在預算內能回答多少”,一份只有錯誤率、沒有覆蓋率的報告會把這種選擇效應藏起來。

還可以逐句解釋這四點七二個百分點的覆蓋差。接受集嵌套,差集是分數落在兩個閾值之間的十七句。兩條規則面對它們時,模型的預測類別全部一樣;變化的是報告把哪些回答算進成績。尤其值得留意,十六除以三百二十一距離界線很近。如果在原分母下再錯一句,該格就會失去資格。這是對選擇條件的算術檢查,沒有對任何樣本改標籤,也沒有據此改協議。

失敗排查與證據邊界

復現結果若只差一行,先檢查比較發生在四捨五入之前還是之後。審計表裡剛過線的一行若顯示為整數百分數,讀者看不到離線還有多遠。把所有概率先格式化成兩位小數還會讓靠近邊界的句子移動。獨立腳本從原始兩列分數的絕對差重新算較大概率,以原標籤重做類別判定,逐一核對兩個池十六行的分子、分母、覆蓋率和選擇結果。這一過程驗證的是確定性算術,不涉及真人對影評情緒的裁決。

另一個難查的錯誤是數據雖然分了文件,選擇函數卻接受一張已經拼接好的總表。在自己的復現中,可以把選擇階段單獨放在只有校準預測可用的目錄裡,保留源碼、劃分清單和相關鎖文件,再執行單獨選擇命令。正常情況下應該仍能得到同一閾值。完整評估隨後才需要審計預測。即使兩張表從未物理拼接,也要留意人在看完審計結果後,是否又把候選列表加密了一次。那會給研究者多一次調參機會,留下最終閾值本身無法揭示這段歷史。

研究問題與總結

這次的作者推斷是,看到“達標”時先問標籤的用途,比多報一位小數更能判斷證據強弱。鎖定規則在這批歷史短句上達標,是一個可以複查的觀察。洩漏對照恰好找到了覆蓋更多的閾值,差額給出了協議錯誤的一次可見後果。我們沒有估計這種差額在重新抽樣時的均值,也沒有獲得在未來文本上維持同一風險的保證。若兩池恰巧選出同一條線,兩份報告在數字上會完全一致,選擇過程是否獨立仍要靠運行記錄回答。

一個可檢驗的後續問題是,在凍結池劃分與接受規則以後,對同一模型做正溫度縮放能否改變整條按排名接受的風險曲線?數值閾值會因分數尺度移動,固定接受條數卻只依賴排序。區分這兩個實驗對象,才能判斷下一次看到的覆蓋變化究竟來自模型更會挑錯,還是來自同一把尺上的刻度移動。

源碼與復現入口

固定版本已公開,可從本篇源碼目錄進入,按復現說明運行,或對照公式與官方代碼映射檢查實現。

最小入口輸出 selected.json 和 results.json,分別保存校準選擇與鎖定、洩漏兩套審計結果。逐句預測、協議、資源版本、實際運行日誌與獨立復算腳本一併提供,可直接從兩條相鄰閾值的分母開始核查。

參考資料

檢索與版本核對於 2026-11-10。下列鏈接分別對應論文版本、實際模型和數據、框架實現與會議記錄。


作者作品推廣

除了寫技術博客,我也在做一些讓日常更有條理的小工具,歡迎瞭解我獨立開發的兩款 App:

  • 日常收支小記:記下收支,也給每一筆錢安排好去處。記錄日常賬目,安排預算與儲蓄目標。在 App Store 瞭解。
  • 一事微光:從一件小事開始,讓今天多一點微光。按當下的時間和精力選擇行動,記錄完成後的感受與發現。在 App Store 瞭解。

更多技術文章和個人作品,歡迎來我的網站:zffjzz.top。也歡迎把使用感受告訴我,讓這些小工具慢慢變得更好。