可信預測實驗室:從模型置信度到可檢驗的拒答

少量瑕疵樣本置於同一放大鏡下

少錯十句,這個數字能站多穩?

有三百六十句帶標籤的影評短句,准許模型回答其中二百七十句。給模型最有把握的句子優先排隊,答錯八句;照事先打亂的名單排隊,答錯十八句。兩張名單的差值很容易算,難的是解釋這個十。倘若當初抽進審計池的句子稍有不同,一句難題可能出現兩次,也可能完全缺席。我們想知道,這種程度的樣本變化足以讓差值消失嗎?

前一篇在同一二分類頭上比較了三種置信分數,三種排序連一對句子的位置都沒有交換。繼續更換分數名稱,並不能增加證據。這次只改變每句在評測批次裡出現的次數。模型、原標籤、樣本預算、兩種排隊規則以及主要比較位置全部固定。新增產物是一份逐接受數的風險差和區間記錄,讀者可以從一個看似穩定的點一直追到只接受一句的極端情形。

本次實際驗證得到的答案取決於分母。接受二百七十句時,置信度排序少錯的幅度是每百個已回答樣本約三點七個,配對區間仍在零以上。只接受十八句時,點估計反而更大,區間下沿卻已經碰到零。下文保留每個覆蓋點,主結論只讀事先指定的位置。

研究對象與論文依據

選擇性分類讓一個已經訓練好的分類器額外做一個決定,即這次是否交付答案。覆蓋率計算交付了多少答案,選擇性風險衡量已交付答案中的條件錯誤率。Geifman 與 El-Yaniv 在二〇一七年的原論文裡區分了這兩個量,還研究瞭如何利用獨立數據控制風險。他們報告了圖像分類實驗。這裡借用這對定義,在英語情感分類上比較兩個固定預算的策略,只估計樣本波動,不執行論文的風險控制程序。

數據來自斯坦福團隊公開的 SST-2 驗證劃分。項目開始時已經按樣本身份的哈希順序劃出探索、校準和協議審計三個池。這次只對最後的三百六十句做推理。SST-2 在前序研究中用過,審計池的總體正確數乃至主要位置的錯誤數也早已記錄。把重採樣協議寫在計算區間之前,可以約束今天的分析選擇;這些舊句子仍屬於歷史開發證據。全程未讀取 IMDb 確認池,也沒有人按文本含義改動標籤。

從一句話走到一對風險

給第 ii 句記下模型預測與官方標籤是否不同,不同記為 ei=1e_i=1,相同記為零。模型的兩個類別分數經過 softmax 歸一化,較大的概率用來排置信順序。另一條隊列按固定前綴和樣本編號的哈希值升序排列,沿用上次實驗的順序。哈希運算只讀身份,既看不到情感標籤,也看不到預測。比較的是這個可以逐句重建的打亂基線。若把所有可能的隨機名單都平均起來,參照對象會隨之改變。

Rs(k)=1k∑j=1kesj,G(k)=Rb(k)−Rc(k).R_s(k)=\frac{1}{k}\sum_{j=1}^{k}e_{s_j},\qquad G(k)=R_b(k)-R_c(k).

這裡 sjs_j 是某一隊列的第 jj 個樣本身份,kk 是接受數,bb 和 cc 分別代表固定打亂與置信排序。收益 GG 為正說明相同回答預算下置信排序保留的錯誤較少。兩組分母都是實際接受的句數。計算覆蓋率時才用總數三百六十作分母。接受數為零時,兩個錯誤計數都是零,風險和差值寫入空值;拒絕全部回答無法提供任何關於已交付答案質量的觀測。

取主位置手算一遍。兩臂覆蓋率同為百分之七十五,打亂隊列的風險約為百分之六點六七,置信隊列約為百分之二點九六。直接相減得到三點七零個百分點。若把十除以三百六十,就變成了整批到達樣本中少交付錯誤答案的比例。兩種分母都能服務研究,只有前一種對應本文的縱軸。也不能把“少十個錯誤”解讀為兩張名單恰好只交換了十個樣本,交換進出的正確樣本並沒有出現在差值裡。

最小實驗與配對協議

同一份抽樣身份送入兩條排序路徑

把三百六十個身份寫在卡片上。抽一張,記下編號,放回去,再抽,直至記滿三百六十次。把這份記錄複印一份,左右各拿一份排隊。某句話被抽到三次,兩邊都帶三份相同的預測和標籤。排在截止位置附近的句子可能被它擠出名單,因此每次都要在新樣本上重新截取前綴。只從原先接受的二百七十句中抽籤,會把名單邊緣的進出排除在估計之外。

若改成左右各抽一份,同一個錯誤在一邊缺席、另一邊重複,差值裡就混入了兩批題目難度不同的波動。同樣,分別為每個策略算一個區間,再用一個上界減另一個下界,也無法還原同一批題上的差值分佈。配對要求共用的是抽樣索引,允許兩種策略最終接受不同的句子。保留這一點,才有機會觀測排序本身造成的收益。

固定隨機種子為一百二十四,重複四千次。每輪在所有非空接受數上算一遍收益,在同一接受數的四千個差值中取百分之二點五和百分之九十七點五分位數,位置介於兩個次序統計量之間時線性插值。這是百分位自助法的近似百分之九十五逐點置信區間。它以句子作為獨立抽樣單位,以現有池的經驗分佈模擬重新取樣。原始審計池的三百六十個身份各有不同的文本摘要;如果多個片段來自同一篇影評,其錯誤可能相關;本實驗沒有按原影評聚類,區間對這種依賴的敏感性仍未知。

固定種子控制讀者復算時抽到哪些卡片。增加重複次數能減少分位數的模擬誤差,原始測試信息仍然只有三百六十句。四千輪中的每一行都帶著同一模型學過的特徵和同一套官方標籤。重新訓練引入的模型差異、換領域後的詞彙變化、標籤定義引起的爭議,都沒有進入這段區間。估計對象是兩種固定排序在這類樣本上的風險差。

本次實際結果

接受數 / 360 置信排序錯誤數 固定打亂錯誤數 收益(百分點) 95% 逐點區間(百分點)
1 0 0 0.00 [0.00, 0.00]
18 0 1 5.56 [0.00, 22.22]
36 0 2 5.56 [0.00, 13.89]
90 0 5 5.56 [1.11, 10.00]
180 3 12 5.00 [1.11, 8.89]
270 8 18 3.70 [1.11, 6.30]
324 17 27 3.09 [0.93, 4.94]
360 30 30 0.00 [0.00, 0.00]

全部非空接受數的風險差與逐點區間

十八、三十六、九十這三個位置的點估計幾乎給人同樣的印象,但第一次比較只由打亂隊列裡的一個錯誤支撐。在十八個位置裡多一個錯誤,風險就變動五點五六個百分點;在九十個位置裡,同樣的一句只佔約 1.11 個百分點。圖的左側區間陡然張開,對應的正是這個整數臺階。圖中橙線標出主比較位置,淺色區域由日誌繪出,沿橫軸逐點計算,沒有平滑,也沒有因為區間觸零而刪點。

首尾兩個點尤其值得對照。最右端接受所有句子,兩條隊列包含完全相同的多重集合,每次抽樣的總錯誤數可以變,但兩邊總是一起變,差值必為零。最左端只答一句也得到零寬區間,理由卻完全不同。經驗池能反覆抽到的高排名句子有限,中央百分之九十五的差值擠在零上。一個尚未見過、被模型高度確信的錯誤就可能打破這種現象。把這個零寬當作“答一道題最安全”,恰好誤讀了小分母的信息量。

官方代碼閱讀路線與失敗排查

先讀官方分類頭的前向函數。輸入是一批補齊的分詞編號和注意力掩碼,編碼器輸出每個位置的表示,分類頭取序列起始位置,經過預分類層、激活和最終線性層,給每句返回兩個原始分數。推理時關閉訓練模式,按模型配置把零映射為負面、一映射為正面。若交換標籤編號,排序仍可能一模一樣,兩個隊列裡的錯誤卻統統變了。因此試跑既比原始分數,也比文本摘要、身份、標籤與預測類別。

本次先在中央處理器上試跑八句,再按每批十六句重放全部三百六十句。正式推理循環約一點二六秒,進程峰值常駐內存約九百四十六兆字節。試跑與歸檔的最大分數差約為二點四乘十的負七次方,類別一致;正式批次全部分數逐項相同。模型和驗證文件複用了校驗過摘要的緩存。後面的四千次重複只重排保存的行,不再調用編碼器,可以在沒有模型權重的環境裡單獨復算。

接著讀兩份分析腳本。主程序保存逐點錯誤計數和端點,獨立審計則從兩個原始分數的絕對差重建置信順序,重新比較預測和標籤,並先統計每個身份被抽中的次數,再按原排名展開。這個實現利用了前一篇驗證的二分類單調關係。審計逐輪核對主位置的四千個錯誤數差,另用整數頻數表重建全部七百二十個區間端點。若誤將放回抽樣寫成去重,樣本總數和截止位置會改變;若把兩邊獨立打亂,末端差值或主位置重算記錄會暴露不一致。

源碼與復現入口

固定版本已公開,可從本篇源碼目錄進入,按復現說明運行,或對照公式與官方代碼映射檢查實現。

在源碼目錄安裝鎖定的 NumPy 後執行:

python run.py && python audit.py

這條最小命令以真實凍結預測為輸入,生成全部接受數的 points.json 和主位置每輪整數差的 primary_counts.json,並打印獨立審計結果。想核對單句預測時,再按復現說明取回固定版本的模型和數據運行模型入口。日誌保留運行命令、進程退出碼、輸入身份及真實批次形狀,讀者可以區分哪一步消耗模型算力,哪一步只消耗統計計算。

研究問題與總結

作者的判斷限於已觀察的協議審計池。按預定預算接收四分之三時,對固定打亂順序的收益在這套配對擾動下仍為正。圖上的幾百個位置共用預測且前綴彼此嵌套;逐點區間無法保證整條曲線同時落在色帶內。從圖中挑出收益最大的覆蓋點,再把該點區間解釋成事先設定的結論,會額外引入選擇偏差。

還有一個實際的差別。這裡先擁有整批句子,才有條件排序並精確留下二百七十句。若句子逐個到達,研究者往往要先固定一個概率閾值,能接受多少句要到評測結束才知道。下一步可檢驗的問題是,在單獨的校準池上選擇閾值並將其鎖定後,到審計池還能留下多少個答案、多少個錯誤。這需要一次新的數據隔離實驗,今天這條風險差曲線只提供參照。

參考資料

檢索日期為 2026-11-09。


作者作品推廣

除了寫技術博客,我也在做一些讓日常更有條理的小工具,歡迎瞭解我獨立開發的兩款 App:

  • 日常收支小記:記下收支,也給每一筆錢安排好去處。記錄日常賬目,安排預算與儲蓄目標。在 App Store 瞭解。
  • 一事微光:從一件小事開始,讓今天多一點微光。按當下的時間和精力選擇行動,記錄完成後的感受與發現。在 App Store 瞭解。

更多技術文章和個人作品,歡迎來我的網站:zffjzz.top。也歡迎把使用感受告訴我,讓這些小工具慢慢變得更好。