封面:玻璃樣片經過檢測裝置,一部分進入側盤

一共有三百六十條短影評,模型把其中三十條的情感判錯。如果只准回答二百七十條,讀者會看到多少錯誤?把影評打亂再選,本次留下十八個錯誤。讓同一個模型優先回答分數最高的影評,留下八個錯誤。兩組給出的答案一樣多,選進來的影評不同。這十個錯誤的差額,比單獨報告“拒答以後準確率上升”更能說明置信度在這批數據上有什麼用。

先把兩個問題分開

假想每次判錯就往桌上放一枚籌碼。現在從已經判好的三百六十張答題卡里抽走九十張,桌上的錯誤籌碼只會減少或維持原數。單憑錯誤總數下降,很難看出抽卡的人是否有挑選能力。更有意思的問題是,每讀一百張留下的卡,大約還會遇到幾張錯卡?如果抽走的都是正確答案,桌上的錯誤數雖然沒增加,餘下答案卻變得更不可靠。

上一項實驗研究的是溫度參數能否在模型或提示模板之間借用。這次退回一個明確的二分類頭,凍結每條影評的兩個輸出和預測類別,只改變哪些答案可見。讀者可以把同一份預測交給兩個人,一人按最大概率排序,另一人只拿到編號。等二人交回相同數量的答案,再打開標籤計數。這樣既控制了模型,也控制了回答量。

從兩個分數到兩個分母

模型為每條影評輸出負面、正面兩個原始分數,統稱 logits。它們可以是負數,也不必加起來等於一。用 softmax 沿類別維度歸一化後,取較大的概率作排序分數。對第 ii 條樣本,記第 jj 類的原始分數為 zijz_{ij},本實驗類別編號為零和一:

si=max⁡j∈{0,1}exp⁡(zij)exp⁡(zi0)+exp⁡(zi1).s_i=\max_{j\in\{0,1\}}\frac{\exp(z_{ij})}{\exp(z_{i0})+\exp(z_{i1})}.

sis_i 表示兩個候選類別中模型更偏向一方的程度。實現中先減去行內最大值再求指數,兩類概率之比不變。模型仍然對所有影評做了前向計算,拒答只是評測腳本對輸出的篩選。這裡沒有讓模型生成拒答文本,也沒有節省這批影評的推理次數。

設共有 nn 條影評,規則接受的編號集合為 AA,數量為 kk。用 eie_i 表示預測與官方標籤不同這一事件的零一指示值。經驗覆蓋率 CC 和經驗選擇性風險 RR 分別為

C=kn,R=∑i∈Aeik,k>0.C=\frac{k}{n},\qquad R=\frac{\sum_{i\in A} e_i}{k},\qquad k>0.

覆蓋率回答“交了多少張卡”,風險回答“交回的卡里錯了多少”。兩個比例中的分母分別是全體與接受集。若無人獲得回答,覆蓋率是零,風險無法定義。把空集的錯誤數零寫成零風險,會讓什麼都拒絕的規則在圖上佔據一個虛假的最佳位置。

凍結哪批數據,比較哪兩種規則

實驗使用 Stanford NLP 的 SST-2 驗證劃分,按照項目首次預測前登記的樣本編號哈希順序,使用協議審計池的最後三百六十條。另有兩個各二百五十六條的池,分別承擔探索與校準。本次沒有重新切分,也沒有用校準池擬合參數。該數據集在歷史項目中已經使用,審計池的總體成績和部分閾值結果也已經觀察過。本篇檢驗的是一個新設的等數量對照,不能把重跑寫成首次揭盲。IMDb 的三個池均未參與本次實驗。

在計算新曲線之前,我們寫下主要讀數:兩條排序各取前四分之三,即二百七十條。其次看一半、九成和全部接受時的結果,並保存每一個整數前綴。第一條排序按最大概率從高到低,相同分數按編號從小到大。第二條取固定字符串與編號的哈希,按摘要排列。它模擬一次與標籤無關的打亂,編號固定下來就能原樣重放,沒有從多個打亂結果裡挑一個。排序用未舍入的分數,文中的百分比只供展示。

同一組預測分別按置信度及打亂順序排列,取相同數量再計錯

另留一條理論參照線。假如從三百六十條中等概率、不放回地抽取二百七十條,每個錯誤都有四分之三的機會被抽到。三十個錯誤合計,平均會抽到二十二點五個。期望可以帶小數,實際運行中的錯誤數一定是整數。把期望除以二百七十,得到全池錯誤率。這個推理對任意正的接受數量都成立,所以理論線是水平的;固定打亂那一條卻會上下走動。兩條線同時畫出來,可避免把一次恰好較好的打亂當作隨機選擇的一般水平。

實測結果:同樣回答二百七十條

接受數 / 總數 置信度順序:錯誤數 / 接受數 打亂順序:錯誤數 / 接受數
180 / 360 3 / 180(1.67%) 12 / 180(6.67%)
270 / 360 8 / 270(2.96%) 18 / 270(6.67%)
324 / 360 17 / 324(5.25%) 27 / 324(8.33%)
360 / 360 30 / 360(8.33%) 30 / 360(8.33%)

置信度排序比打亂順序少錯十條,經驗風險低三點七零個百分點。再從未回答的那一側算一次:按置信度暫緩的九十條裡,有二十二條原本會答錯,另有六十八條本來會答對。打亂規則同樣暫緩九十條,其中只有十二條原本會答錯。若把拒答一律算作答對,就丟掉了六十八個正確答案被扣下的事實。若把拒答一律算作答錯,又引入了一種本實驗沒有定義的代價。讀者可以按自己的問題賦予代價,但應先保留這幾個整數。

真實逐樣本日誌繪製的經驗風險與覆蓋率曲線

從左往右讀圖,就是逐張把答題卡放回去。置信度排序的前一百四十九條全部正確,第一百五十條才出現第一個錯誤。它的編號是五百四十四,模型給較大一類的概率約為零點九九九六六。看到這一點,再回頭看橫軸左端的一段零值,就知道為什麼不能據此宣佈找到了安全閾值。那個端點是讀完標籤才能定位的;對另一批影評,第一個錯誤完全可能出現得更早。

曲線上的鋸齒也有具體含義。加入正確卡片時,分母加一,分子不變;加入錯誤卡片時,兩者同時加一。隨著接受量增加,錯誤總數單調不減,錯誤率可以往兩個方向走。表中抽出的幾個位置顯示了整體趨勢,逐點保存可以讓讀者檢查中間的回落。相鄰位置共享此前所有卡片,把它們當成幾百次獨立試驗會誇大證據量。圖上沒有畫置信區間,打亂曲線也沒有充當置信區間的上下界。

固定閾值回答的是另一道題

再換一種讀法:只有當最大概率達到預先規定的門檻時才回答。門檻取零點五時,二分類必有一個概率至少達到一半,本次全部接受。門檻為零點九時,接受三百四十三條,錯二十三條,覆蓋率約百分之九十五點二八,接受風險約百分之六點七一。提高到零點九九,仍有三百零四條越線,其中十四條判錯,風險約百分之四點六一。門檻取一時,接受數為零,程序把風險記作空值。四個條件按原計劃全部保留。

閾值告訴我們每條影評能否獨自過線;固定數量告訴我們在這一批影評裡哪些排在前面。假如再來一批短句,同一個門檻可能接受完全不同的數量,前四分之三卻要等知道整批排序才有意義。兩種規則不能直接按同一個百分數對號入座。尤其是零點九九的門檻,既沒有令錯誤率自動降到百分之一,也沒有令覆蓋率等於百分之九十九。用這一行當作新影評的風險承諾,需要額外的數據和協議。

官方代碼閱讀與最小復現

先看模型配置的標籤映射,再看 Transformers 的 DistilBertForSequenceClassification。編碼器給出每個位置的隱藏向量,分類頭取首位置,經過預分類線性層、激活、隨機失活層與最終分類層。在評測模式下關閉隨機失活。批次輸出有兩列,每一行對應一條輸入。若把歸一化軸錯寫成批次軸,一條影評的概率就會隨同批的其他影評變化。這裡形狀檢查之外還有逐行獨立重算,可以直接在分數層發現這類問題。

模型與分詞器使用同一固定版本,數據文件摘要和每條影評的文本摘要分別核對。本次先用八條短句在 CPU 上試跑,再按原批大小十六重放全部三百六十條。整池重放的兩個原始分數逐項與歷史文件相同,小批試跑的最大絕對偏差約為二點四乘十的負七次方,預測類別一致。前向階段使用單精度和四個計算線程,不訓練,不做溫度縮放。計時含批次分詞、前向與提取結果,整池約一點四八秒;導入後到完成輸出約一點八三秒,記錄到的進程峰值常駐內存約九百五十六兆字節。複用了已核對的資源緩存,下載和安裝耗時不計入這兩個數。

源碼與復現入口

固定版本已公開,可從本篇源碼目錄進入,按復現說明運行,或對照公式與官方代碼映射檢查實現。

在源碼目錄執行 python run.py && python audit.py 即可得到兩條逐點曲線、對應編號順序、固定閾值表和獨立核對結果。只重算這些統計量時,Python 標準庫就夠用;若要從原始句子重放模型,按說明安裝固定依賴、獲取鎖定權重與驗證劃分,再執行八條試跑和整池重放。包內只有派生預測與身份摘要,原始句子按數據卡入口獲取。圖的繪製腳本只讀保存的曲線,使得改動圖例或顏色不需要再次運行模型。

失敗排查與研究邊界

復現時先檢查身份,再看指標。如果行數一樣、總錯誤數也一樣,仍可能是把原始編號誤當作篩選後的行號。源碼先比對審計清單的完整順序,再核對預測和標籤的映射。獨立腳本從兩個原始分數的差重新求概率,用大小關係求預測,再分別對每一個前綴直接求和。它不調用主程序的累計函數;兩種路徑對全部七百二十二個點和四個閾值都給出了相同結果。讀者還可以查同一編號在哪個前綴首次進入,定位具體一處排序差異。

這次執行還碰到一個環境問題:舊臨時環境能找到解釋器,但首次導入缺少深度學習框架;恢復解釋器配置後,分詞器仍無法導入。我們重新安裝記錄的固定依賴,保留失敗日誌,再做八條真實模型試跑。這個順序有實際意義:統計腳本通過只能說明舊分數能復算,無法證明當前解釋器能夠分詞並運行分類頭。反過來,模型輸出正常也不能證明累計器把空接受集處理正確,兩條檢查都有自己的失敗條件。

論文中,Geifman 與 El-Yaniv 在分類器之外設置選擇函數,並研究如何在抽樣假設下控制風險。他們在視覺分類數據上檢驗了相關算法。本實驗借用風險和覆蓋率的定義,只測量固定文本池上的經驗曲線。作者據此推斷,最大概率在這批短影評上包含有用的錯誤排序信息;現有結果不足以解釋這些錯誤來自否定句、諷刺還是原標籤分歧。要解釋語言現象,需要先定義類別、抽樣方式和人工判斷流程,不能只憑幾個編號替影評貼標籤。

小結與可檢驗的下一步

本次能留下的結論有一個明確的條件:在指定的審計池、同一分類頭和相同回答數量下,按置信度選出的答案比固定打亂少錯十條。代價也可核對:為將三十個可見錯誤減到八個,同時暫緩了六十八個原本正確的答案。下一步可以凍結樣本、回答量與打破並列的規則,只改變用於排序的分數。如果兩種分數只是同一數值的單調變換,它們理應給出完全相同的接受集合;若結果不同,應先查有限精度和並列處理,再討論模型能力。這是下一項實驗可以直接推翻或確認的預期。

參考資料

以下一手資料檢索於 2026-11-07。


作者作品推廣

除了寫科研博客,我也獨立開發了兩款日常工具。日常收支小記用來記錄收入與支出,安排預算和儲蓄目標。在 App Store 瞭解。一事微光讓你按當下的時間和精力選一件小事,完成後記下自己的感受。在 App Store 瞭解。想繼續讀技術文章,或瞭解我做的其他個人作品,歡迎訪問作者個人網站。