封面

  • 日期:2026-10-06
  • 讀者:研究生、科研新人和工程型研究者
  • 範圍:真實小模型、五次微調、開發集探索;不是完整基準或最終確認實驗。

摘要:先問種子改變了什麼

前篇發現,同一檢查點換個任務表述,正確總數可能不變,具體樣本卻會交換勝負。這次固定表述,反過來問:重新訓練一次,結論還能保持嗎?我們沿用《數據混合的代價:學會新任務,會忘掉舊能力嗎?》選定的僅目標任務訓練配置,增加兩個固定順序控制和三個真實重排種子,保留全部預測及失敗邊界。

**本次實際驗證:**三個重排運行的JSON聯合正確數為58、57、58,均能輸出合法格式;原來的單詞輸出正確數卻全部從57降到33。訓練間波動小,並沒有消除任務約定之間的代價。更值得警惕的是:只改種子而不改變任何隨機過程,兩次訓練連數值權重都相同。把這樣的重複叫作多次隨機實驗,會誇大證據。

復現價值與論文位置

隨機種子是偽隨機數發生器的起點;它本身不是實驗變量的完整定義。初始化、數據順序、dropout和採樣解碼都可能受隨機性影響,但凍結預訓練權重、關閉dropout、固定順序並用貪心解碼時,種子可能沒有機會起作用。PyTorch的復現文檔也區分隨機數控制與其他非確定性,並不保證不同平臺和版本位級一致。[3]

**論文報告:**Reimers與Gurevych在2017年的序列標註研究中指出,單次分數不足以代表隨機訓練方法,主張報告多次運行的分佈。[1] 本文借用這個研究問題,不移植其LSTM實驗數字,也不把三次小模型運行當成對原論文的大規模復現。Dror等人在2018年討論統計檢驗與任務、指標、實驗設計的匹配關係。[2] 這裡選擇簡單可審計的配對差值,刻意不追逐顯著性標籤。

與092相比,新增問題是“訓練順序改變後,收益和損失是否同時重現”;改變變量是順序及配對,凍結模型、數據、提示、監督量和評分器。新增產物是種子—樣本結果矩陣、訓練軌跡、權重哈希和兩種不同統計摘要。

核心思想:兩個不確定性不能混成一根誤差線

令基線在樣本上的二值結果為bib_i,第ss次訓練的結果為asia_{si},則

dsi=asi−bi,Δs=1n∑i=1ndsi.d_{si}=a_{si}-b_i,\qquad \Delta_s=\frac{1}{n}\sum_{i=1}^{n}d_{si}.

這裡ii是同一條評測樣本,ss是一個已訓練檢查點,dd只能為負一、零或一;本次SST結果矩陣形狀為[3,64][3,64],三個重排運行共享同一個基線。配對要求比較同一行,而非把兩份總準確率各自重採樣後相減。

一個直觀例子是:模型甲和乙都答對五十八條,不能由此推斷它們答對的是同一批題。如果甲多救回一個例子、又多失去另一個例子,總分完全看不出來。逐行結果同時保存提示哈希、標籤、停止原因和生成標記,才能區分真實行為變化、輸入錯配與評分器變化。比較時先確認這些身份一致,再計算差值,能夠避免把換題誤當提升。

第一層固定這64行,報告三個Δs\Delta_s的均值、範圍及樣本標準差:

Δˉ=1S∑sΔs,SD=∑s(Δs−Δˉ)2S−1.\bar\Delta=\frac1S\sum_s\Delta_s,\qquad SD=\sqrt{\frac{\sum_s(\Delta_s-\bar\Delta)^2}{S-1}}.

S=3S=3,分母為二;這個標準差描述本次訓練順序波動,不是總體均值的置信區間,更不能包含尚未試過的模型初始化或數據抽樣因素。兩個固定順序控制不混入這三個運行。

第二層固定一個訓練後檢查點和基線,從同一行索引有放回抽樣,計算每次配對均值,再取百分位區間。這種bootstrap,即重採樣,本次做一萬次。它只展示固定模型對當前樣本構成的敏感程度,不代表重新訓練的不確定性。不能把三次預測攤成192條獨立測試例;新聞任務保持四類平衡,按標籤類內抽樣。

多種子與配對評測方法

圖中Seed Spread僅彙總三個重排運行;Sample Bootstrap針對單個固定模型對。共享評測樣本只進入結果計算,不迴流到檢查點選擇。

最小實驗與凍結協議

使用已完成指令訓練的SmolLM2-135M-Instruct,約1.345億參數。模型與tokenizer固定到12fd25f77366fa6b3b4b768ec3050bf629380bac,不是從隨機權重訓練。SST-2固定revision為8d51e7e4887a4caaa95b3fbebbf53c0490b58bbb;AG News為eb185aade064a813bc0b7f42de02595523103ca4。二十個文件的實際SHA-256及下載地址隨源碼保存。[4–6]

沿用32條情感訓練、64條情感開發和32條新聞開發。訓練行仍按既定哈希規則選取,未重新挑選容易學習的例子。128條情感確認和64條新聞確認始終沒有推理;新聞來自官方test的部分已在091用於開發選擇,不能重新稱為未見測試集。規範化精確重複檢查通過,但沒有證明不同影評來自獨立電影,也沒有做預訓練汙染排查。

五組都從相同原權重開始,全參數SGD學習率0.001、梯度裁剪1、批量2、64步。每行JSON答案連真實終止符共8個監督token,每組1024個監督token、10556個輸入token,四輪中每行出現四次。提示和填充位置不計損失,真實終止符保留。CPU四線程、單精度、eager注意力,保留梯度但不啟用dropout;貪心生成最多32個新token。

固定組93與94保持原有負正交替順序,只改框架種子。重排組93、94、95每輪分別打亂兩類各16行,再逐對組合,確保每個批次一正一負。因此改變了順序與批內配對,沒有改變類別比例和暴露量。含填充的總token數分別為11252、11298、11338,控制組為11344;相同輸入量仍不等於相同計算量。

協議在推理前登記,不選擇最好的種子,也不補跑到結果滿意為止。五組小試跑共10步、48次生成,耗時18.31秒,峰值內存2.62GB;按預定保守倍數估算439.32秒,低於1200秒預算後才正式執行。

官方代碼閱讀路線

先讀固定版本apply_chat_template,確認用戶輸入和assistant回答的邊界;再看本地build與collate,檢查真實EOS和填充雖共用編號2,卻由長度區分。隨後沿LlamaForCausalLM找到ForCausalLMLoss:輸入為[B,L][B,L],輸出logits為[B,L,49152][B,L,49152],其中最後一維是詞表,標籤需要與前一位置預測對齊。[7]

本次每一步都將官方損失與手工移位交叉熵核對,最大誤差約1.19×10−71.19\times10^{-7}。最後讀官方SGD的更新,再回到獨立教學調度器,確認種子實際進入了Python的順序發生器。五個官方源文件已與安裝版本逐字節比對;永久文件、函數行號、提交和許可證集中在源碼地圖,不用浮動main定位。

統計代碼另外閱讀:先看d=a-b是否按相同樣本對齊,再看重採樣矩陣是否同時作用於兩個模型,最後檢查標準差的分母。推理正確與統計解釋正確是兩個檢查,不能互相替代。

本次實際驗證與配對結果

正式實驗共320步更新、960次生成,全部成功;耗時267.90秒,進程峰值RSS為2961309696字節。該時間從第三方導入後計,包含核驗、加載、訓練、保存、推理及統計;GPU內存未測。沒有隱去訓練失敗,也沒有使用確認集調參。

狀態 單詞輸出聯合正確/64 JSON格式成功/64 JSON內容及聯合正確/64 新聞聯合正確/32
原檢查點 57 0 內容50、聯合0 8
固定93 33 64 58 8
固定94 33 64 58 8
重排93 33 64 58 8
重排94 33 64 57 8
重排95 33 64 58 8

格式成功指滿足嚴格輸出約定;內容正確只是輸出中唯一顯式標籤與數據標籤匹配的代理,不是人工語義金標。聯合正確要求兩者同時滿足。三個重排JSON聯合準確率均值90.10%,樣本標準差0.90個百分點;這個醒目的提升主要包含從零到全部合格的格式變化,不能直接說情感理解提升了九十個百分點。

單看內容,重排93相對基線為12勝、48平、4負,淨增12.5個百分點,條件配對區間為[0,25]個百分點;重排94為11勝、49平、4負,區間[0,21.875]。兩者只有編號481的輸出不同:前者答positive,後者答negative,數據標籤為positive。保留這個索引足以定位差異,無須在公開包重印許可未知的影評。

相反,所有訓練後的單詞約定均為5勝、30平、29負,淨降37.5個百分點,條件區間為[-53.125,-21.875]。JSON變好與單詞回答變差同時重現。新聞前後每行聯合對錯均不變,區間為[0,0];它只說明本批差值全零,原有8/32地板表現不足以支撐“保住了新聞理解能力”。

失敗排查與證據邊界

先查“假多種子”:固定組的64步損失、梯度與091逐項相同,兩個數值權重哈希一致;三個重排權重則互異。保存文件名會改變PyTorch容器哈希,所以另對張量名、形狀和數值字節計算身份,避免把序列化差別當模型變化。

此外,重排沒有重新抽取訓練樣本,因而沒有測量訓練集選擇的波動。三個種子也沒有形成三份新的基線:原模型只推理一次,後續比較共享它的逐行結果。這種共享關係必須保留在表格和統計腳本中。若未來增加數據集抽樣,應單獨登記新的隨機因素和獨立單位,不能沿用當前標準差解釋。

再查“區間證明提升”:64條開發樣本已反覆用於選擇與解釋,重採樣不能把它們變回未見數據。區間端點碰到零也不能簡化為“完全無效”;這裡的設計只支持有範圍的描述。跨樣本相關性、訓練種子數少、單一小模型都限制外推。

最後查“可以公開重算多少”:全部960條原始輸出已本地獨立解析,公開證據刪節11條可能複述新聞的長回答,保留原文哈希、長度及派生分數,其餘949條可完整重解析。刪節行不是憑空丟失,原始審計與分發說明可追蹤;讀者自行運行可獲得自己的完整結果。未捏造人工評分。

可檢驗的研究問題與總結

**作者推斷:**當前現象更像對輸出約定的強適配,並伴隨另一約定下的標籤偏移;本實驗沒有隔離出具體內部機制。後續可凍結這套配置,在保留確認集一次性檢驗相同方向;也可另開開發實驗,對比保持類別平衡的重排與普通隨機批次,檢驗穩定性是否依賴配對方式。兩者都要先登記規則,不能看過確認結果再換假設。

本篇不推薦挑58分的種子發佈。值得交付的是:真實變化的隨機源、所有運行、同一行上的勝負,以及沒有被誤差線掩蓋的能力代價。第二單元至此得到一套可審計微調資產;下一篇將檢查官方評測任務配置本身怎樣定義分數。

源碼與復現入口

完整可瀏覽源碼已發佈到公開倉庫的固定提交目錄。從README安裝依賴、獲取固定資源,再按SOURCE_MAP核對官方實現與本地模塊。該版本包含57個文件;公開副本已匿名拉取並與本地源碼及歸檔逐文件核對SHA-256。

準備依賴並下載固定資源後,最小命令為:

HF_HUB_OFFLINE=1 TOKENIZERS_PARALLELISM=false python run.py --cache ./cache --out smoke-new --private private-new --smoke

它實際訓練五組並保存逐步損失、逐樣本輸出、預算、配對統計和權重身份;正式運行去掉--smoke。本次已完成完整五組及原始審計,歸檔在臨時目錄解壓後的五組試跑也通過,逐步訓練記錄與生成結果除耗時外一致。源碼自帶全部自寫模塊,複用已核驗緩存,不要求讀者打開作者本地路徑。

參考資料

檢索日期:2026-10-06;發佈前複核:2026-10-07。以下論文支持方法動機或數據來源,本文數字均來自隨附日誌。

  1. Nils Reimers、Iryna Gurevych,2017,EMNLP:Reporting Score Distributions Makes a Difference: Performance Study of LSTM-networks for Sequence Tagging。
  2. Rotem Dror、Gili Baumer、Segev Shlomov、Roi Reichart,2018,ACL:The Hitchhiker’s Guide to Testing Statistical Significance in Natural Language Processing。
  3. PyTorch 2.6:Reproducibility。
  4. HuggingFaceTB:固定SmolLM2-135M-Instruct模型卡。
  5. Richard Socher等,2013,EMNLP:Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank。固定數據文件及哈希見源碼資源鎖。
  6. Xiang Zhang、Junbo Zhao、Yann LeCun,2015,NIPS,頁面為v3修訂:Character-level Convolutional Networks for Text Classification;本次固定AG News數據卡。
  7. Hugging Face Transformers 4.49.0:固定因果語言模型損失實現。其餘官方函數與許可見SOURCE_MAP。