
一個溫度,換一批讀者來信
假設你有一把量表,在電影短評上把模型的“幾乎確定”調成了“比較有把握”。今天收到的卻是整段影評:開頭稱讚表演,中間批評剪輯,末尾才給出總評。這時最容易犯的實驗錯誤,是先用幾篇長評把量表再調一遍,然後宣佈它可以遷移。本文問一個可以用數字否定的問題:一絲不動地帶走短句上學到的溫度,模型給長影評真實標籤分配的概率,平均而言還會變好嗎?
答案有兩層。在本次登記的一千條 IMDb 探索影評上,固定溫度讓平均負對數似然從 0.4410 降到 0.2863,方向與短句審計池一致;但長評上的損失仍高於短句,固定門檻接收的比例也變了。換句話說,可以帶走的是這批樣本上相對於原始分數的改善。不能一起帶走的,是“換了語料,每個置信度仍對應原來的正確率”這句更強的承諾。下面把這兩個判斷拆開檢驗。
什麼被凍結,什麼發生了變化
上一篇在同一批短句上更換集合構造方法,觀察哪些標籤會被納入。本篇把模型固定為在 SST-2 上微調的英文 DistilBERT 二分類器,換評測語料,不更換模型、分詞器、推理精度或截斷上限。標籤仍為負面與正面;沿用數據作者提供的標籤,沒有根據模型回答再挑一組“看起來對”的影評。兩套語料都談電影,這讓任務相近,卻不意味著短句的標籤形成過程與整篇影評的評分機制相同。
源域指用來學這個溫度的語料環境。歷史 SST-2 驗證劃分中,用隔離的二百五十六條校準樣本得到溫度 2.481924;比較用的是另外三百六十條協議審計樣本。它們不是第一次出現在本系列,不能包裝成未見測試。此次直接讀凍結的溫度和審計輸出,不重新訓練,也不把以往文章的模型前向運行計作今日開銷。目標域指要遷入的環境,本次只新增 IMDb 的模型前向計算。
IMDb 原論文介紹的是影評情感分類數據。官方測試劃分有二萬五千條,不代表這裡需要把它們都送進模型。為了防止同一部電影的多篇評價落進不同研究階段,我們先取歸檔內的電影網址索引,將其與文件序號對齊;同一影片至多貢獻一個樣本。另把正文的換行標記、大小寫、空白和字符規範化後求摘要,重複文本也至多保留一份。規範化只用於查重,真正送給模型的是原始文本。它不能識別所有改寫,更不能判斷兩篇評論是否表達了同一個意思。
實現時先按文件身份的加鹽哈希排序,依次保留影片和文本均未被佔用的候選。依序取三段,每段一千個身份,分別作開發探索、目標域校準和最終確認。在任何一次模型預測之前寫出同一份三池清單。入選依據沒有用模型分數,也沒有按目標標籤配平。這裡的估計對象是這種抽樣規則下的影評;按影片限額會改變熱門影片的權重,不能用這組分數冒充官方全量成績。確認池只登記身份,不預測、不看輸出、不挑案例。

怎樣量出“還有效”
模型給每條輸入輸出兩個未經歸一化的分數,叫作 logits。溫度縮放指把兩個分數都除以同一個正數,再歸一化為兩類概率。設一批分數矩陣的形狀為 ,其中 是批大小。對一個樣本,第 類的概率為:
這裡的 是該類原始分數, 是固定溫度。溫度大於一會縮小分數差,讓原本接近零或一的概率向中間移動。兩個分數的大小次序不變,最高分標籤也就不變。這既給出一個實現檢查,也解釋了為什麼改善概率質量不需要多答對一道題。比如同一次錯誤預測,給正確標籤百分之一和給它百分之十,在準確率裡都只算一個錯;在需要相信這個概率的任務裡,二者代價不同。
預先指定的主要指標是負對數似然,簡稱 NLL。它是模型給真實標籤的概率取負自然對數,再在樣本間平均。對每個語料分別計算:
其中 是該池樣本數, 是第 條的原標籤, 是相同樣本上兩種溫度的損失差,負值表示改善。先在各域內部作差,再比較方向;不要把兩組不同影評按行號配成對。輔助指標有兩類概率的平方誤差之和,即類別求和的 Brier 分數,以及十個等寬置信度區間的校準誤差 ECE。後者按箱內樣本數加權,比較箱內平均置信度和正確率,空箱權重為零。固定分箱後仍可能有箱內抵消,不能把一個小數點後的變化當成校準證明。
最小實驗與官方代碼閱讀路線
先看官方分類頭如何從最後一層的首個位置取表示,經線性層、激活和分類層得到兩個分數。這裡並未讓模型生成“正面”或“負面”兩個詞,更沒有對開放回答的真實性計分。然後看配套入口裡三段相接的代碼:登記函數只生成身份;前向分支只允許探索清單內的身份;評分函數讀取固定分數和標籤,才計算概率、損失和接收數量。這個順序的好處是容易排查:如果只改溫度就改了預測類別,先檢查列與標籤的對應,不要急著解釋領域偏移。
模型切到評估模式,關閉梯度,使用四線程 CPU、單精度、右側截斷。每批最多十六條,補齊到當批最長輸入,上限為含特殊符號的五百一十二個分詞單元。先用探索池開頭八條做真實試跑,檢查輸出兩列、數值有限,再跑整個一千條。八條試跑包含在正式清單中,不能合併說成一千零八個不同樣本。正式前向循環含分詞及批處理用時 58.99 秒;從參數讀取後到保存結果約 65.11 秒,進程峰值常駐內存約 2.14 GB。此處給出量級是為了讓讀者估預算,並非跨硬件速度比較。
結果:改善遷移了,門檻的含義變了
| 語料與溫度 | 正確數 | NLL | Brier | ECE | 九成門檻:錯誤數/接收數 |
|---|---|---|---|---|---|
| SST-2 原始 | 330/360 | 0.3841 | 0.1540 | 0.0733 | 23/343 |
| SST-2 固定溫度 | 330/360 | 0.2371 | 0.1352 | 0.0199 | 10/279 |
| IMDb 原始 | 890/1000 | 0.4410 | 0.1955 | 0.0891 | 89/945 |
| IMDb 固定溫度 | 890/1000 | 0.2863 | 0.1693 | 0.0285 | 23/634 |

圖中每對柱都來自同一組真實預測,輸入是保存的兩列分數,不是論文曲線。短句的損失差約為負 0.1470,長評約為負 0.1547。三個概率指標的改善方向在兩個域裡一致,兩個域的準確率卻分別停在原處。這說明固定溫度仍修正了原模型分配概率時的一部分過度自信。它不說明此溫度對 IMDb 最優,更沒有證明兩個域的改善幅度相等;我們沒有做等效性檢驗。
接著看最後一列,它只回答“模型對所選標籤至少有九成把握時,還錯了多少”。長評中原先接收九百四十五條,縮放後只接收六百三十四條;移出的三百一十一條裡有六十六個錯誤,也有二百四十五個正確答案。這比單報“錯誤從八十九降到二十三”有用,因為它列出了迴避錯誤的代價。校準後,短句的接收率是百分之七十七點五,長評為百分之六十三點四;接收集合上的錯誤率卻分別約為百分之三點六和百分之三點六。近似相同的條件錯誤率掩蓋了接收規模的差異,也不能變成新語料上的風險承諾。
還可以直接讀長評的最高置信度箱。縮放前其中九百四十五條,平均置信度約百分之九十九點二,正確率約百分之九十點六;縮放後六百三十四條的平均置信度約百分之九十四點五,正確率約百分之九十六點四。後一個箱裡模型甚至略偏保守。兩次進箱的樣本並不相同,這不能解釋成“同一群影評從偏高變成偏低”。讀可靠性圖時,箱子的橫座標看似沒動,裡面的人卻可能已經換了。
失敗排查與可檢驗的下一步
第一次試跑沒有產生任何 logits:臨時環境裡仍能找到解釋器,但導入框架失敗。我們保留了失敗退出碼,在獨立環境按鎖定版本重裝後,重用了已經寫好的身份清單。另一次障礙發生在下載階段:作者站點未能建立連接,另一個整理版沒有所需影片索引。最後使用完整原包的固定鏡像,逐字節摘要與官方數據工具記錄相同。若缺少影片索引,只檢查兩個池裡有沒有相同文件名,並不能證明沒有同一部影片;這也是本實驗不能直接換成任意兩列表格的原因。
對於研究解釋,最有誘惑力的說法是把損失差異全歸給長文本。記錄只能支持更窄的判斷:短句與長評實際保留的分詞單元中位數分別為二十三和二百二十九,長評有一百一十二條到達長度上限,短句沒有。達到上限不等於一定丟掉了結尾;單看保留長度,沒法區分“剛好放得下”和“確實被截掉”。同樣,官方高低評分形成的標籤與短句極性標籤雖可映射到兩列,其難度不一定相同。這裡沒有把樣本長度隨機分配,也沒有請真人重新判斷哪一句決定了感情方向。
一個能被推翻的後續假設是:固定影評身份後,縮短可讀前綴,會改變一部分樣本的分數差,且可能在最高分標籤翻轉之前就改變概率損失。驗證時要用同一條影評做配對,先登記長度預算,再記錄實際少讀的分詞數、答案是否翻轉及損失變化。若概率變化只出現在少數臨界樣本,也要照實保留。現在的跨庫比較提出了這個問題,但還沒有執行這個干預。公開文本也可能在預訓練中出現;這裡的“封存”指本項目的實驗紀律,不是對訓練歷史的零汙染認證。
源碼與復現入口
打開本篇固定版本源碼,從復現說明進入實驗,或在源碼地圖逐項核對論文公式、官方分類頭和本地實現。
安裝鎖定依賴後,在源碼目錄執行:
python run.py analyze && python audit.py
這條最小命令從隨包的真實分數重建結果表,並獨立檢查身份、兩列概率及全部計數。完整下載、登記、八條試跑與正式推理命令見覆現說明。本次確實執行了探索池正式推理,未在 IMDb 擬合溫度;源域只複用了已記錄的預測。復算腳本採用兩列指數歸一化,與主腳本的二元分數差寫法不同,核對四十個箱和四組指標。它能發現下標錯誤或分母混用,不能代替讀者判斷研究假設是否合理。
總結
短句上學來的溫度,在這批長評上仍能緩和錯誤預測受到的概率懲罰。更有用的證據是同時留下三樣東西:一千條固定身份、每條的兩個原始分數,以及門檻內外各有多少錯誤和正確答案。它們讓下一步可以只改閱讀長度,檢驗今天還解釋不了的差異,同時把最終確認池留給真正的確認實驗。
參考資料
檢索日期:2026-11-17。
- Andrew L. Maas 等,2011,Learning Word Vectors for Sentiment Analysis,IMDb 語料來源;TFDS 數據說明提供官方劃分規模。
- Chuan Guo 等,2017,On Calibration of Modern Neural Networks,溫度縮放的定義和論文報告。本文數字來自本次復算。
- DistilBERT SST-2 模型固定版本;Transformers 官方分類頭。
作者作品推廣
除了寫技術博客,我也在做一些讓日常更有條理的小工具,歡迎瞭解我獨立開發的兩款 App:
- 日常收支小記:記下收支,也給每一筆錢安排好去處。記錄日常賬目,安排預算與儲蓄目標。在 App Store 瞭解。
- 一事微光:從一件小事開始,讓今天多一點微光。按當下的時間和精力選擇行動,記錄完成後的感受與發現。在 App Store 瞭解。
更多技術文章和個人作品,歡迎來我的網站:zffjzz.top。也歡迎把使用感受告訴我,讓這些小工具慢慢變得更好。