兩個模型與同一組實驗樣本

  • 日期:2026-10-13
  • 讀者:研究生、科研新人和工程型研究者
  • 範圍:同一小模型的兩個訓練檢查點、64條既有開發樣本;探索性分析,不是完整基準排名。

摘要:領先一題,究竟說明什麼

兩份結果分別是58題正確和57題正確。排行榜會把前者放在上面,卻不會告訴我們:它們是各有所長,還是隻在同一題上分歧?這兩種情況可以有相同的平均分差,支持的研究判斷卻很不同。

本篇複用此前訓練得到的兩個真實檢查點,重新生成同一批SST-2情感分類樣本的回答,再用配對區間檢查這一個差距。實際結果是:後者0勝、1負、63平,差值為負1.5625個百分點。配對百分位區間為負4.6875到0個百分點;打散對應關係的錯誤對照則得到負12.5到正9.375個百分點。區間變窄說明保留對應關係很重要,但只有一條分歧,不能據此宣佈穩定勝出或兩個模型等效。

復現價值:承接評分審計,再問不確定性

前一篇檢查答案抽取規則與人工審核的邊界;已有總體審核確認,但沒有提供逐題標籤,所以人工誤判率仍然未知。本篇不把那個確認當作可計算的人工金標,也不重新挑評分器。我們返回已有訓練項目,凍結嚴格JSON格式且標籤正確的聯合指標:只有輸出是指定JSON對象、唯一情感標籤符合數據標籤,才計為正確。

新增問題只有一個:當兩模型做的是同一組題,應如何描述平均差值的不確定性? 改變的是統計重採樣方式,凍結的是檢查點、數據、提示、解碼與評分。配對指每題同時保留兩個模型的結果;自助重採樣又稱bootstrap,指從已觀測單位中有放回抽樣,用這些重複樣本觀察統計量的變化。

這裡的兩個模型是同一基礎模型經過不同訓練順序得到的檢查點,不是兩個架構或兩個廠商系統。此前結果已經公開,我們按種子編號取前兩個重排檢查點,沒有資格把選擇稱為事前盲選。這份區間用於理解現有開發結果,不能替代最後的確認評測。

核心思想與公式:先配對,再求差

令第ii題兩個模型的聯合正確性為xi,yi∈{0,1}x_i,y_i\in\{0,1\},固定以B減A:

di=yi−xi,Δ^=1n∑i=1ndi.d_i=y_i-x_i,\qquad \widehat{\Delta}=\frac{1}{n}\sum_{i=1}^{n}d_i.

其中n=64n=64,did_i只能取負一、零或一,分別表示B輸、打平、贏。百分比乘一百後得到百分點差。本次兩個正確性數組形狀均為[64][64],差值數組也為[64][64];不能把兩個數組拼接後聲稱有128個獨立觀察。

每次重採樣產生一組行索引I1,…,InI_1,\ldots,I_n,兩個模型必須共用它們:

Δ^∗=1n∑j=1n(yIj−xIj).\widehat{\Delta}^{*}=\frac{1}{n}\sum_{j=1}^{n}(y_{I_j}-x_{I_j}).

星號表示一次有放回重採樣的統計量,IjI_j從原來的nn行均勻抽取。我們固定兩萬次重複、隨機種子9800,取差值分佈的2.5%與97.5%線性分位數。這裡顯式選擇百分位法,便於審查每一步,不聲稱它在小樣本下有精確覆蓋率。

為何獨立抽兩個數組不合適?在獨立同分布的行假設下:

Var⁡(Δ^)=Var⁡(X)+Var⁡(Y)−2Cov⁡(X,Y)n.\operatorname{Var}(\widehat{\Delta})=\frac{\operatorname{Var}(X)+\operatorname{Var}(Y)-2\operatorname{Cov}(X,Y)}{n}.

X,YX,Y代表同一隨機題上的兩份正確性,協方差描述兩者共同答對或共同答錯的程度。打散配對會丟掉這一項。本例兩者高度同向,錯誤抽法因此給出更寬區間;如果協方差為負,方向可能相反,不能把“配對總會更窄”當作定理。

官方代碼閱讀路線:一個參數背後的協議

共享行索引的配對評測流程

論文層面,Dror等人在ACL2018討論了任務、度量與實驗設置如何影響統計檢驗選擇;它並沒有報告本文兩個檢查點的成績。[1] 實現層面,我們使用SciPy 1.13.1的官方bootstrap接口。先讀參數校驗函數:開啟配對後,它把數據轉換成共享的行索引;再讀重採樣函數;最後讀百分位和標準誤的計算。[2]

最容易漏掉的是默認值:官方默認方法為BCa,而本文明確指定百分位法;隨機狀態也明確傳入NumPy的Generator。只抄函數名而不保存參數,復跑就可能改變結果。源碼地圖給出固定提交、函數和行號,並記錄官方文件與安裝文件逐字節相同。模型生成繼續調用固定Transformers版本的模板、前向與生成接口。[3]

教學腳本另寫了一條直接索引路線,逐次對照全部兩萬份官方差值;獨立審計腳本則不導入生產評分代碼或SciPy,重新解析輸出、統計四格表,並用二項分佈復算本例的經驗重採樣分位數。前者能抓接口理解錯誤,後者能抓共享實現中的算術錯誤;兩者都不是對總體統計假設的證明。

最小實驗:身份先於分數

基礎模型是SmolLM2-135M-Instruct,模型和分詞器鎖定同一修訂;兩個檢查點分別來自種子93與94的類內重排訓練。[4] 原訓練都使用32條樣本、64次更新和1024個監督token。本次不重新訓練,而是核對檢查點文件哈希,再加載真實權重生成回答。

數據沿用SST-2的固定驗證劃分中64條開發樣本,標籤為31負、33正。[5] 訓練順序變化未改變模板、貪心解碼、最大32個生成token或輸入上限。先做兩題乘兩模型的資源試跑,再執行完整128次生成;保留128條SST-2與64條新聞確認樣本,均未推理。

實際運行在CPU、單精度、四線程完成。新輸出的token、提示哈希、題號、標籤與原緩存逐項相同,只有測得耗時不同。每模型輸入5250個token、輸出512個token,包含結束符。首題輸入形狀為[1,83][1,83],模型輸出張量為[1,83,49152][1,83,49152],最後一維是詞表大小。正式運行在導入依賴後耗時22.675秒,進程峰值常駐內存為1,677,852,672字節;包含進程啟動的總牆鍾時間為25.699秒。GPU內存未測,因為沒有使用GPU。環境與資源數據均來自真實日誌。

第一次試跑卡在舊雲盤源碼緩存讀取,尚未進入推理。我們保留中斷記錄,把下載核驗清單縮減為本次必需的11個模型、分詞器與驗證集文件,官方源碼另行匿名獲取核驗。沒有更換數據或模型,也沒有把失敗輪次從實驗史中抹去。

緩存身份也需要可審計。只寫模型名不夠:同名模型可能有新修訂,分詞器模板或解碼上限變化也會改變輸出。本包把基礎權重與分詞器修訂、檢查點哈希、數據文件哈希、提示配置、解碼規則以及代碼哈希納入身份記錄。真實推理與統計重放各自保存命令、退出碼和輸入身份;讀者能夠判斷自己重算的是哪一批輸出,而不是隻看到一個無法追溯的總分。

評測協議與實際結果:把一分差拆開

同一道題的情況 題數 對B減A的貢獻
兩者都正確 57 0
兩者都錯誤 6 0
A正確、B錯誤 1 −1
A錯誤、B正確 0 +1

這張表比兩個平均值多提供了一個事實:全部差異來自驗證題號481。兩個輸出都滿足JSON格式,區別是情感標籤。僅有這個題號和模型差異,不能推導“否定句導致訓練順序不穩定”等語義解釋;那需要另行定義錯誤類別、準備反例,並在新的樣本上檢驗。

本次實際驗證: A為90.625%,B為89.0625%;配對區間為[−4.6875,0][-4.6875,0]個百分點,獨立錯誤對照為[−12.5,9.375][-12.5,9.375]個百分點。兩萬次官方重採樣與直接索引完全一致,獨立算術復算也通過。區間只描述當前兩個固定檢查點在這批開發行上的重採樣敏感性。

還必須解釋上界為何恰好為零。經驗樣本里沒有B獨贏的行,重採樣無法憑空產生這種行。因此,這個端點不是“B在總體上不可能更好”的證據。僅對不一致題做雙側精確二項檢驗,當前只有一次失敗,得到p=1p=1;它表示在該對稱無優勢假設下,一次不一致的方向沒有提供反對假設的證據,不是零假設為真的概率;它同樣不能證明兩模型相等。區間估計、顯著性檢驗和等效檢驗回答的是不同問題。

失敗排查:先找丟失的對應關係

復算器首先拒絕重複題號、漏配對、標籤不一致和提示哈希錯位,再檢查評分與原文是否相符。八項檢查包括故意破壞這些字段,以及打亂記錄順序後結果仍不變。按行號相減而不按穩定題號對齊,往往會得到看似正常的均值,卻失去真正的比較對象。

第二個隱患是觀察單位。當前數據接口沒有電影或原評論分組標識,我們只能公開說明按行重採樣的條件假設。若未來取得一部電影下多個句子的映射,就應整組抽取電影並保留組內句子;不能偽造分組,也不能把同一題的多個模板當作新獨立樣本。缺少分組證據時,這份區間對新電影分佈的外推仍待核驗。

第三個隱患是選擇過程。開發樣本此前參與過分析,bootstrap不會自動消除這種選擇偏差。把重複次數從兩萬加到二十萬,只能減少蒙特卡洛近似誤差,不能增加新題,也不能補回未觀察到的勝負模式。訓練種子的波動同樣不在本篇區間之內;要研究訓練程序,必須重新定義跨運行的估計對象。

從結果提出可檢驗的研究問題

作者推斷是:本例最值得補充的是新獨立樣本上的分歧結構,而不是更多小數位。可檢驗假設可以寫成:“在凍結評分與提示後,兩個檢查點的性能差是否仍集中於少數題?”隨後預先規定樣本來源、分組單位、主要指標和實際關心的差值大小。

如果要宣稱等效,應在看新結果之前給出可接受差值範圍,再選擇適合設計的區間或檢驗;不能看見區間接觸零就改寫成“效果一樣”。下一步還要記錄所有候選提示和評分設置,把改進選擇留在開發集,最後只對凍結方案做確認。本文沒有提前打開保留集來讓故事更完整。

源碼與復現入口

本篇源碼已公開並逐文件核驗:固定提交源碼目錄、README運行說明、SOURCE_MAP源碼地圖。54個分發文件與本地歸檔一致,下載後的獨立復算和真實模型試跑通過。

最小命令如下,它只重放已保存的真實預測,不產生新的模型回答:

python run.py --out replay-new

預期得到逐題配對錶、彙總、重採樣頻數和環境記錄。README另給真實模型試跑、完整128輸出重建及前篇固定源碼獲取命令;模型權重和原數據通過鎖定來源取得,不依賴作者本地路徑。獨立審計、配置、精確依賴、失敗說明與許可證一併交付。

總結

領先一題是一個觀測事實,科研報告還應交代這一題屬於什麼樣的配對結構、估計依賴什麼抽樣假設、哪些不確定性沒有覆蓋。本次保留對應關係後得到更窄區間,也看到只有一條分歧帶來的邊界問題。可審查的結論因此是一個有限的開發集觀察,而不是新的模型排行榜。

參考資料

檢索並實際訪問日期:2026-10-13。

  1. Rotem Dror、Gili Baumer、Segev Shlomov、Roi Reichart,2018,The Hitchhiker’s Guide to Testing Statistical Significance in Natural Language Processing,ACL;論文全文。
  2. SciPy開發者,bootstrap 1.13.1官方文檔;固定提交實現。
  3. Hugging Face,Transformers 4.49.0固定生成實現。
  4. HuggingFaceTB,SmolLM2-135M-Instruct固定模型卡。
  5. Richard Socher等,2013,Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank;SST-2固定數據卡。