可信預測實驗室:從模型置信度到可檢驗的拒答

高置信錯誤的實驗審計

復現價值:把平均數拆成可以追查的樣本

前一篇固定預測類別,只改變概率的溫度,說明準確率相同也可能對應不同的概率質量。這次進一步追問:原始模型最有把握卻答錯的樣本,是否聚集在某些可重複定義的組裡?我們固定同一批真實預測,不訓練、不校準,只改變觀察它們的分組方式。目標不是找幾個令人驚訝的句子,而是交付一份保留分母、身份和選擇規則的錯誤審計表。

“最自信”有兩種含義:可以指超過固定門檻,也可以指錯誤內部的排序。本文分別處理:主要統計使用置信度不低於零點九的集合;案例入口則按錯誤置信度降序保留前五條,同分按原始編號升序。規則在本次分組計算前登記,但此前整體準確率已經被觀察,因此這仍是探索分析,不能冒充完全盲態的預註冊研究。

核心思想:錯誤數量與錯誤率回答不同問題

這裡的置信度是二分類概率中較大的一個。它不是模型對自己能力的自然語言評價,也不是開放生成答案真實無誤的概率。Guo 等人的校準論文討論概率與經驗正確性的關係;本篇借用這個測量視角,新增的長度分組審計是獨立教學實驗,並非論文原實驗的復刻。論文原文

假設某組包含大量樣本,即使它的錯誤率很低,也可能貢獻最多錯誤。反過來,只有少數樣本的組可以出現很高比例,卻不足以說明穩定規律。先看分母,再看比例,是從案例故事走向可檢驗問題的第一步。我們同時保存全部樣本數、全部錯誤數、高置信樣本數、高置信錯誤數;正文突出主要口徑,源碼保留完整十二行結果。

公式與分組:先寫規則,再看結果

pik=exp⁡(zik)∑j=01exp⁡(zij),ci=max⁡kpik,ei=1(y^i≠yi)p_{ik}=\frac{\exp(z_{ik})}{\sum_{j=0}^{1}\exp(z_{ij})},\qquad c_i=\max_k p_{ik},\qquad e_i=\mathbf{1}(\hat y_i\ne y_i)

其中,zikz_{ik} 是第 ii 條樣本對類別 kk 的分類分數;每批 logits 的形狀為批大小乘二。pikp_{ik} 是歸一化概率,cic_i 是置信度,y^i\hat y_i 是最大概率類別,yiy_i 是數據原始標籤,eie_i 為錯誤指示量。本次直接複用已保存的雙精度概率,並用原始 logits 獨立復算驗證。

Hg=∑i∈g1(ci≥0.9),Eg=∑i∈g1(ci≥0.9)ei,Rg=EgHgH_g=\sum_{i\in g}\mathbf{1}(c_i\ge0.9),\qquad E_g=\sum_{i\in g}\mathbf{1}(c_i\ge0.9)e_i,\qquad R_g=\frac{E_g}{H_g}

gg 表示一個預定組,HgH_g 是該組高置信樣本數,EgE_g 是其中錯誤數,RgR_g 是主要報告的條件錯誤率。當分母為零時輸出空值,不能輸出零風險。它描述當前這批樣本,不自動擁有總體置信保證。

長度使用固定 tokenizer 得到的原始 token 數,包含特殊標記,邊界為不超過十六、十七至三十二、超過三十二。它不是字符數,也不是人工判斷的語言複雜度。另一個軸使用數據標籤:零為負向、一為正向。先報告三個長度組和兩個標籤組,再報告兩軸形成的六個交叉組,連同整體共十二行。我們沒有掃描邊界後挑選差異最大的切法。

固定分組與獨立復算流程

圖中長度與原標籤匯入固定分組,之後才執行高置信篩選和錯誤計數。它是方法示意圖,不承載定量結果;分母包括篩選後的正確與錯誤樣本,不能只保留紅色錯誤標記。

官方代碼閱讀路線

先從官方模型卡確認這是英文 SST-2 情感分類檢查點,再到固定 Transformers 提交的分類器實現。閱讀順序是模型輸出、首位置隱藏狀態、預分類線性層、激活、dropout 和最終分類頭。評估模式關閉訓練期隨機 dropout;本篇沒有把生成式語言模型的 token 概率拼成分類置信度。模型卡

代碼地圖固定 Transformers 提交、具體文件與行號,並標明 Apache 許可證。真實推理由官方庫執行;分組腳本是獨立實現,沒有複製上游神經網絡。獨立審計腳本也不導入分組腳本,而是通過二分類 sigmoid 恆等式重建置信度,再逐組重算分子和分母。兩套代碼給出相同結果,比同一函數調用兩遍更有檢查價值。

最小實驗與數據邊界

模型固定為 DistilBERT SST-2,revision 為 714eb0fa89d2f80546fda750413ed43d93601a13;數據固定為 Stanford SST-2,revision 為 8d51e7e4887a4caaa95b3fbebbf53c0490b58bbb。validation 按預定身份哈希排序,前二百五十六條構成探索池。後續校準池與協議審計池沒有在本篇推理,IMDb 也未讀取預測。SST-2 在歷史項目中已經使用,因此重新排列不能使它成為從未接觸的測試集。

輸入文件同時保存數據身份、文本哈希、原標籤、logits、概率、預測類別、正確性和 token 長度。正式二百五十六條日誌繼承首篇固定版本;今天新增的是分組分析及八條真實模型復跑,不聲稱重新推理了全部樣本。沒有訓練、閾值優化或按結果選擇模型。原始語句不隨源碼打包,數據卡許可仍標記未知,讀者通過固定版本下載並核對哈希。數據卡

本次八條復跑的模型前向用時約零點零六九秒,導入完成後總用時約零點四八九秒,峰值進程內存約七點九五億字節;分組分析約零點零零二秒。它們是單次測量,不是性能排行榜。復跑使用 CPU、單精度模型與既定線程配置。緩存校驗包含模型文件、tokenizer、數據文件、配置和代碼身份,不能僅憑文件名相同就複用。正式分析還鎖定預測文件哈希;若輸入被替換,腳本應立即失敗。耗時、峰值進程內存、系統與依賴版本寫入運行記錄,下載時間與歷史正式推理時間不冒充今天的分析時間。

評測協議與實際結果

二百五十六條中有二百三十三條正確。高置信集合包含二百四十二條,其中十九條錯誤,條件錯誤率約百分之七點八五。這個數不能讀成“每一條高置信樣本都有同樣的錯誤概率”,它只是這批集合的觀測比例。

分組 全部樣本 高置信樣本 高置信錯誤 條件錯誤率
短 54 51 6 11.76%
中 140 138 5 3.62%
長 62 53 8 15.09%
原負向標籤 130 123 13 10.57%
原正向標籤 126 119 6 5.04%

真實預測日誌生成的分組錯誤率

此圖由 Matplotlib 讀取保存的分組日誌繪製,柱頂標出錯誤數與高置信分母;不繪製未經計算的誤差線。

長度組之間互斥,標籤組之間互斥;兩種軸不能相加,否則會重複計算樣本。本次實際驗證顯示,中等長度組樣本最多,錯誤率卻最低;短組和長組均較高。因此“錯誤率隨長度單調增加”在這裡不是合適的描述。長組貢獻八個高置信錯誤,佔十九個的約四成二,而它佔高置信樣本的約兩成二,這才是“集中”的一個可檢查含義。

交叉組進一步顯示,短負向為四除二十九,短正向為二除二十二;中負向為四除六十四,中正向為一除七十四;長負向為五除三十,長正向為三除二十三。各格錯誤只有一至五個,一個樣本就能顯著改變百分比。我們不根據格子高低宣佈顯著差異,不從中選擇需要拒答的子群體,也不把原始情感標籤當作人口群體或安全標籤。

最高置信錯誤的原始編號依次為七九一、二八二、九二、八二九、四九四,對應置信度約為零點九九九七九、零點九九八六八、零點九九八五二、零點九九八零零、零點九九七三七。長度覆蓋十一至四十六 token,原標籤兩類都有。這個列表提供確定性回查入口,尚不構成“反諷”“否定”“標籤噪聲”等語義分類。

失敗排查:不要把審計做成解釋幻覺

第一類失敗是把低置信樣本從分母刪除,卻仍把指標叫整體錯誤率。第二類是先看錯誤句子,再發明只覆蓋這些句子的類別;這會讓組別定義吸收答案。第三類是把 token 長度說成信息量或理解難度:分詞粒度、標點和專有詞都可能改變長度,相關性不能直接歸因於上下文能力。

另一類失敗來自實現細節。長度邊界必須寫清等號歸屬,原標籤與預測標籤不能混用,最高置信錯誤的同分排序必須穩定。復算應同時核查身份與算術,否則把另一組樣本的正確結果貼過來,也可能通過只比較均值的檢查。這裡對全部行重新計算類別和置信度,再檢查每組錯誤編號,避免只校對最終百分數。

目前沒有新增人工金標,也沒有修改標籤。若未來要說這些錯誤源於反諷或標註歧義,必須先制定語義指南、準備待審材料並取得真實審核結果,不能讓自動生成的解釋成為證據。本篇不需要這一步才能完成確定性分組,但也不借此越過語義判斷的邊界。

源碼與復現入口

本篇已公開的固定版本:源碼目錄、README、SOURCE_MAP。公開副本與本地分發清單逐文件哈希一致,並已通過獨立復算與真實模型試跑。

最小分析命令為 python analyze.py && python check_analysis.py,生成十二組統計、最高置信錯誤列表、獨立審計記錄和資源記錄。真實模型復現入口為 python execute.py prepare --cache .cache112,之後執行 python execute.py smoke --cache .cache112;完整範圍使用 formal 動作。依賴、資源鎖、分割清單和基線推理模塊均包含在配套源碼中,不依賴作者機器的私有模塊。

復現時建議分三層閱讀產物。第一層檢查資源鎖與劃分清單,確認拿到同一個數據版本和同一組編號;第二層核對逐樣本概率、預測與長度,定位異常究竟來自分詞、模型還是輸入錯位;第三層才比較分組彙總。如果第一層不同,即使最終錯誤率接近,也不能稱為同一實驗復算。這個順序尤其適合剛開始做科研的讀者:先讓差異可定位,再討論結果是否有意義。

還應區分“沒有出現錯誤”與“已經證明可靠”。本次交叉組都出現了錯誤,但在更細分組中完全可能遇到零錯誤。小樣本零錯誤不代表真實風險為零,不能因此把組別名單直接用於拒答決策。同樣,若以後改變置信閾值,接受樣本的組成會隨之變化;新錯誤率對應新的條件集合,不能把兩個百分比的差異全部歸功於模型改進。本文凍結門檻,正是為了讓今天的問題只落在觀察分組這一處。

研究問題與總結

作者推斷是:中間長度較低的錯誤率值得跟蹤,但目前證據不能區分文本內容、類別構成與長度本身的作用。下一步若要檢驗長度解釋,應先凍結配對或分層方案,在允許的獨立數據上驗證,而不是立即刪除長樣本,或重新尋找能讓曲線單調的邊界。當前列表只能生成假設,不能同時承擔發現和確認。

本篇新增產物是一份能從真實 logits 獨立還原的錯誤地圖。模型接近滿分的置信度仍可能對應錯誤;錯誤在不同組中的比例也並不一致。保留完整組別、分母、固定規則和歷史接觸說明,讓這些現象成為後續研究可以挑戰的對象,比把五個案例講成模型的一般缺陷更可靠。

參考資料

檢索日期:2026-10-31。論文報告、官方模型說明與本次實際分析分別標註,不引用動態榜單數字。

  1. Chuan Guo、Geoff Pleiss、Yu Sun、Kilian Q. Weinberger,2017,ICML:On Calibration of Modern Neural Networks。
  2. Hugging Face:DistilBERT SST-2 模型卡。
  3. Stanford NLP:SST-2 數據卡。
  4. Hugging Face:固定提交的分類器實現。

作者作品推廣

以下是作者自有產品推廣。除了寫科研博客,我也獨立開發讓日常更有條理的小工具:日常收支小記用於記錄收支、安排預算和儲蓄目標,在 App Store 瞭解;一事微光幫助根據時間、精力選擇日常小行動,並記錄完成後的感受,在 App Store 瞭解。更多技術文章與個人作品,歡迎訪問作者個人網站。這些產品介紹獨立於本文實驗和科研結論。