等預算微調實驗封面

  • 日期:2026-10-03
  • 讀者:研究生、科研新人和工程型研究者
  • 實驗範圍:真實 SmolLM2-135M-Instruct、SST-2;單種子、CPU 短預算微調,未使用保留確認集。

摘要

把訓練集從八條擴大到三十二條,分數不變,能否說“更多數據沒用”?先檢查兩組是否看過一樣多的監督信號。本篇固定回答監督 token 和更新步數,對比八條重複十六輪與三十二條重複四輪。兩組 JSON 聯合正確數都是 58/64,逐樣本回答也相同;普通單詞回答卻從訓練前 57/64 降到 33/64。這個結果沒有支持獨特樣本增加帶來收益,卻揭示了輸出約定之間的權衡。真正值得復現的是預算、樣本和行為之間的證據鏈。

目錄

  1. 復現價值與論文邊界
  2. 核心思想:數清三種預算
  3. 官方代碼閱讀路線
  4. 最小實驗與評測協議
  5. 實際結果與失敗排查
  6. 源碼與復現入口
  7. 可檢驗的研究問題
  8. 總結與參考資料

復現價值與論文邊界

089 已確認回答標籤掩碼正確,但每組四步更新沒有學會 JSON 格式。090 新增的問題是:當訓練量增加時,應該優先增加獨特樣本,還是重複已有樣本?凍結模型、模板、優化器和開發劃分,改變訓練池大小及重複次數,留下逐步預算賬本和逐例輸出。

**論文報告:**Muennighoff 等人在《Scaling Data-Constrained Language Models》研究預訓練中的重複數據與計算預算,指出重複數據的收益不能無限外推。[1] 本篇引用其問題意識,不搬用其規模律係數,也不把小型情感微調稱為論文原實驗復現。預訓練的全文本目標與只監督八個回答 token 的任務有明顯差別。

**本次實際驗證:**繼續使用已經過指令訓練的 SmolLM2-135M-Instruct,而非從零訓練的語言模型。[2] SST-2 是英文影評情感數據;訓練行還可能是短語片段,三十二個索引不等於三十二篇獨立影評,更不直接代表中文能力。[3][4]

核心思想:數清三種預算

一個 token 是分詞器處理文本的基本單位。SFT,即監督微調,讓模型在給定上下文時提高正確回答的概率。設批次中第 ii 行第 tt 個目標的掩碼為 mitm_{it},回答位置取一,提示與補齊位置取零:

L=−∑i,tmitlog⁡pθ(xit∣xi,<t)∑i,tmit,Bsup=∑u,i,tmuit.L=-\frac{\sum_{i,t}m_{it}\log p_\theta(x_{it}\mid x_{i,<t})}{\sum_{i,t}m_{it}},\qquad B_{\mathrm{sup}}=\sum_{u,i,t}m_{uit}.

θ\theta 是模型參數,xx 是 token,uu 遍歷更新批次;BsupB_{\mathrm{sup}} 數的是所有更新中真正計入損失的目標,包括重複見到的目標。標籤交給模型時不提前移位:當前位置的輸出預測下一位置,官方損失函數負責移位。[5]

另記 BinB_{\mathrm{in}} 為非 padding 輸入 token 總數,BpadB_{\mathrm{pad}} 為實際批張量位置總數。padding 是把同批不同長度序列補齊的佔位符。只屏蔽提示的損失不會消除其前向計算,因此“等監督 token”並不等於“等全部計算”。本篇所謂公平,限定為監督量、更新數和每批類別相同;輸入長度差異仍須披露。

嵌套訓練池與相同監督預算

圖中兩個模型各自從同一檢查點初始化,訓練期間不共享已更新參數。預算括號覆蓋兩組,虛線進入審計;確認集保持隔離。圖只畫主對照,短訓練輔助組見下表。

官方代碼閱讀路線

先讀模型固定版本的 tokenizer_config.json,核對消息模板、回答起點以及 EOS,即結束標記;再讀 Transformers 的 apply_chat_template,確認沒有重複添加特殊 token。本文 common.py/build 檢查完整序列與生成前綴逐 ID 一致,保留回答末尾真實 EOS,移除模板額外換行。

第二站是 LlamaForCausalLM.forward 和 ForCausalLMLoss。本次逐批輸入為 [2,L],輸出 logits 為 [2,L,49152],最後一維是詞表大小。prompt 與補齊處標籤為 -100,模型跳過這些目標;PAD 與 EOS 都是 ID 2,必須按真實長度區分,不能刪除所有值為 2 的標籤。獨立移位交叉熵與官方 loss 最大差為 1.19×10−71.19\times10^{-7}。

最後讀 PyTorch SGD.step 和生成器的 argmax 分支:前者執行梯度更新,後者每步選概率最大的 token。源碼地圖固定 Transformers 4.49.0 和 PyTorch 2.6.0 的真實提交、具體行與許可證;五份官方源碼已重新下載,與安裝文件逐字節一致。自寫調度與審計屬於教學實現,模型、損失、優化器和解碼直接調用官方代碼。

最小實驗與評測協議

模型與 tokenizer revision 均為 12fd25f77366fa6b3b4b768ec3050bf629380bac,數據 revision 為 8d51e7e4887a4caaa95b3fbebbf53c0490b58bbb。十七個資源文件的 SHA-256 寫入鎖文件;緩存身份還包含模板、提示、解碼、拆分及執行源碼哈希。

從官方 train 按 SHA256('89:'+idx) 在正負類別各選十六行,再負正交替。每類前四行組成小訓練池,恰好沿用 089 的八條樣本,順序改為每批類別平衡。三十二行無規範化完全重複,與全部開發及確認樣本無完全重合;這項檢查不能排除短語關聯、近重複或上游預訓練汙染。

開發集沿用 088 的六十四條;隨後的一百二十八條確認樣本未推理。輸出目標統一為情感 JSON,實際分詞後每條恰為八個監督 token,含 EOS。最大長度二百五十六,正式運行沒有截斷,也沒有將多條樣本拼接打包。

條件 獨特訓練行 輪數 更新步數 監督 token 輸入 token
短訓練輔助組 8 4 16 256 2,736
重複八條,主對照 8 16 64 1,024 10,944
擴大三十二條,主對照 32 4 64 1,024 10,556

後三列分別回答“更新幾次”“學多少目標”“處理多少上下文”。主組都曝光一百二十八行,每批兩行、十六個有效目標;但含 padding 的位置分別為 11,776 與 11,344,注意力形狀成本也不同。不能用這張表聲稱完全等 FLOPs。

還要區分獨特行數和有效信息量。兩種情感標籤雖然來自不同文本,目標回答的大部分結構相同;重複標點和鍵名也計入監督量。因此,本文並未把一千零二十四個目標都當作新的情感知識。若以後改成長解釋答案,必須重新統計目標長度,不能繼續用樣本數乘八計算預算。

三組都從原權重重新加載,全 134,515,008 個參數參與 SGD;學習率 0.001,無動量、無權重衰減,梯度裁剪閾值一。固定 seed 90、CPU float32、四線程、eager attention;eval 模式用於關閉隨機模塊,仍保留自動求導。循環順序不重洗牌,不早停,不按開發分數挑檢查點。短訓練組故意減少監督量,只用於觀察重複訓練預算的變化。

主指標是 JSON 聯合正確率 JJ:格式正確 FF 且內容代理正確 CC。格式要求僅含一個 sentiment 鍵、合法小寫標籤;內容代理要求回答中唯一顯式情感詞匹配數據標籤,不是人工語義判定。普通單詞約定作為診斷一併報告;所有狀態均貪心生成最多三十二個新 token。

實際結果:總分相同,但代價不能省略

狀態 普通回答正確數 JSON 格式通過 JSON 內容代理正確 JSON 聯合正確
訓練前 57/64 0/64 50/64 0/64
短訓練輔助組 59/64 0/64 53/64 0/64
重複八條 33/64 64/64 58/64 58/64
擴大三十二條 33/64 64/64 58/64 58/64

主組之間不僅總分相等,一百二十八個普通/JSON 回答文本也逐樣本完全相同。主指標的配對勝、平、負為 0、64、0。這隻說明當前開發點沒有觀察到行為差異,不證明參數相同、總體等效或獨特數據永遠無用;單種子和微小訓練池限制了結論。

對原小訓練池使用正確前綴計算回答負對數似然,即 NLL:訓練前 1.0283,短訓練後 0.6661,兩個主組分別為 0.1613、0.1720。它測的是正確答案在給定歷史下被模型賦予的概率,並不是自由生成的成功率。三十二條訓練池上的同類測量也下降,但它含有訓練數據,不能包裝成未見泛化結果。

失敗更值得保存。兩個主組在普通約定下生成六十二個 negative、兩個 positive;從短訓練到重複八條,內容配對為五勝、二十八平、三十一負。格式仍完全合法,錯誤主要落在標籤選擇。僅展示 JSON 成功率會掩蓋這種約定敏感性。

失敗排查與證據邊界

先排查預算:逐步賬本確認主組都是六十四步和一千零二十四個有效目標,每批各一正一負。再排查洩漏:驗證標籤來自官方 validation,確認索引未進入生成。最後核對行為:保留全部五百一十二條原始生成,審計器重新解碼並獨立解析格式、標籤及配對關係。未通過修改評分器來挽救負結果。

復跑時還需檢查模型狀態,而不只比較分數。三個最終檢查點都真實保存,首層注意力投影權重的變化非零,參數總數保持不變。獨立審計從原始訓練索引重建重複日程,防止兩組誤用了同一份樣本。模型在兩個組裡給出相同文本,只表明這些提示下的貪心決策一致,並不意味著兩份權重相同。

**作者推斷:**相同 JSON 骨架可能讓少量數據已足以學到輸出方式,而反覆在一種約定下更新可能改變另一種約定的標籤偏好。這是競爭解釋之一;類別詞概率、提示敏感性和優化路徑都可能參與。本次沒有測出其中任何一項的獨立因果貢獻,不把它直接稱為災難性遺忘。

資源試跑先執行每組兩步和兩條開發樣本,峰值 RSS 2.62 GB,按實測估算後才正式運行。正式端到端 118.54 秒,峰值 RSS 2.76 GB;三組訓練分別約 5.45、20.42、20.71 秒。時間從第三方導入後計,含校驗、加載、訓練、推理、NLL 和保存;GPU 內存未測。不同批次的 loss 不能冒充固定驗證集學習曲線。

源碼與復現入口

源碼已上傳公開倉庫:固定提交源碼目錄、README 與運行說明、SOURCE_MAP 官方源碼對應。固定版本為 11c29a7deefe,請使用該提交復現,避免後續主分支變化。

安裝 README 中的固定依賴並運行資源準備後,最小命令為 python run.py --cache ./cache --out smoke-new --private ./private-new --smoke。預期得到逐步預算、原始回答、指標、環境和階段記錄;私有目錄保存檢查點與輸入 token。去掉試跑參數可執行本文全部實驗,再用 audit.py 獨立核查。下載器複用已校驗緩存,不要求重新下載大文件。

SST-2 數據卡許可標註 unknown,公開包不含影評原句、可逆輸入 token 或原始數據;模型權重、環境和緩存也不分發。源碼、鎖文件、小型派生驗證記錄和許可證完整保留,語法與解壓入口單獨驗收;跨平臺位級一致性待人工核驗。

可檢驗的研究問題

第一個假設是“當前預算主要學格式,更多獨特文本尚未改變可見行為”。反證可以來自凍結相同監督量後,更換嵌套訓練抽樣種子出現穩定的逐例差異;不能繼續加數據直至贏一次才彙報。

第二個假設是“普通回答偏置來自只訓練 JSON 約定”。下一篇可預先固定總監督量,改變普通與 JSON 數據比例,同時測目標格式和保留約定。若混合後仍同樣偏置,單純格式競爭解釋就受到削弱。多比例只在開發集選擇,最終確認數據繼續封存。

總結

本篇完成了一次真實、可審計但範圍有限的等監督預算比較。獨特樣本擴大四倍沒有改變當前輸出;增加重複訓練量學會了 JSON,卻損害普通回答。研究進展不必表現為方法勝出:明確哪一種預算相等、哪一種行為改善、哪一種能力受損,才為後續可反駁的實驗留下起點。

參考資料

檢索與直接訪問日期:2026-10-03。論文報告、官方實現與本次實測分別標註;未引用動態榜單。

  1. Niklas Muennighoff 等,2023,Scaling Data-Constrained Language Models,arXiv v1;官方項目。僅作為重複數據研究的問題來源。
  2. HuggingFaceTB,SmolLM2-135M-Instruct 固定模型卡。確認模型身份、指令訓練與許可。
  3. Richard Socher 等,EMNLP 2013,Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank。數據研究背景。
  4. StanfordNLP,SST-2 固定數據卡。核對劃分、標籤、語言與許可。
  5. Hugging Face,Transformers 固定 causal loss;PyTorch,固定 SGD 實現。核對目標移位、分母及更新。