
- 日期:2026-10-04
- 讀者:研究生、科研新人和工程型研究者
- 範圍:真實 SmolLM2-135M-Instruct,32 條影評與 32 條新聞訓練池;64 條情感、32 條新聞開發樣本;單種子 CPU 短預算實驗。
摘要
微調學會了 JSON,卻答錯更多普通情感題,混入另一個任務能否緩解?本篇固定監督 token,比較零、四分之一、二分之一新聞回放,並設置半量目標訓練對照。四分之一回放沒有提高兩項主指標,二分之一反而同時降低它們。更關鍵的是,新聞基線本來就只有 8/32,幾乎只答 A。這使“沒有繼續下降”不足以證明能力被保留。實驗完成了,但原本期待的遺忘測量暴露了地板效應:研究問題必須跟隨證據收緊。
目錄
- 復現價值與論文邊界
- 核心思想:按監督量混合
- 官方代碼閱讀路線
- 最小實驗與評測協議
- 實際結果與失敗分析
- 源碼與復現入口
- 可檢驗問題與總結
復現價值與論文邊界
090 已發現同一情感任務的輸出約定存在權衡,但普通回答與 JSON 回答仍是同一任務,不能直接代表廣泛的舊能力。091 保留模型、情感數據、模板、優化器和開發劃分,新增獨立新聞分類任務;受控變量是新聞監督量佔比,新增產物是雙任務逐例輸出和微批次預算賬本。
回放指訓練時重新加入希望保留的任務樣本。本篇新聞訓練數據不是模型原始預訓練記憶庫,因此只能稱任務回放。模型本身已經過指令訓練;“新任務”指本項目新施加的監督目標,並不表示它從未見過情感數據。[1]
**論文報告:**Kotha、Springer 與 Raghunathan 在 ICLR 2024 論文中提出,微調可能改變模型從提示推斷任務的傾向;行為退化未必等於能力從參數中徹底消失。[2] 本篇藉此區分行為、格式和機制,不復現其共軛提示實驗,也不拿其結論證明本次退化原因。
**本次實際驗證:**對凍結版本小模型運行四組真實全參數更新,保留全部預定組和失敗記錄。**作者推斷:**標籤偏好、格式適配與跨任務梯度干擾都可能解釋現象;尚無直接機制證據支持其中某一個。
核心思想:按監督量混合
SFT 是監督微調,即讓模型提高給定上下文下正確回答的概率。token 是分詞單位。設目標任務與回放任務分別貢獻有效目標數 ,定義:
是回放監督比例; 表示一次參數更新, 是其中的微批次, 是有效回答 token 數, 是其平均交叉熵損失。每次更新的 。提示與補齊位置不計損失,真實結束標記 EOS 計入監督。
情感 JSON 每行八個目標,新聞字母回答加 EOS 每行兩個。一次情感更新用兩行;一次新聞更新需八行,分四個兩行微批次累積梯度。每個微批次損失先乘 ,累積完再裁剪、更新;若每個微批次都直接做一步,新聞組就偷偷獲得四倍更新機會。
比例相同也不等於軌跡相同。本篇按任務分步交替,且使用梯度裁剪;不能把實際更新說成始終優化一個完全等價的靜態加權目標。更不能把監督預算當作總計算量:新聞上下文更長、行數更多,輸入 token 和時間都會增加。

青色數據進入三組,橙色回放只進入兩個混合組;三個模型從相同權重獨立初始化。右側同時測兩任務,保留確認集與訓練隔離。圖未畫半量輔助組,其預算見表。
官方代碼閱讀路線
先讀固定模型的 tokenizer_config.json 和 Transformers apply_chat_template,確認生成前綴與完整訓練序列逐 ID 一致。common.py/build 沿用情感模板,mixture.py/news_build 新增字母回答。真實 EOS 與 PAD 恰好同為 ID 2,按長度掩碼才能保留結束監督,不能把所有 ID 2 刪除。
隨後讀 LlamaForCausalLM.forward、ForCausalLMLoss:標籤不提前移位,模型內部完成下一 token 對齊。[3] 微批次輸入形狀為 [2,L],logits 為 [2,L,49152],末維是詞表。獨立移位交叉熵與官方 loss 的差異被逐批保存;新聞四個微批次的權重和為一。
最後看 PyTorch SGD.step 與生成器貪心選擇分支。真實推理、損失和更新均調用官方實現;樣本選擇、調度、掩碼和評測為自寫教學代碼。源碼地圖固定 Transformers 4.49.0 與 PyTorch 2.6.0 的提交、函數和行號,五份官方文件已重新下載並與安裝文件逐字節核對,許可證一併保留。
最小實驗與評測協議
模型與 tokenizer revision 為 12fd25f77366fa6b3b4b768ec3050bf629380bac;SST-2 為 8d51e7e4887a4caaa95b3fbebbf53c0490b58bbb;AG News 為 eb185aade064a813bc0b7f42de02595523103ca4。二十個資源文件有實際 SHA-256。緩存身份包含模型、分詞器、數據、提示、模板、解碼、配置和執行源碼哈希。
情感訓練池沿用 090 的三十二行,負正交替;開發集仍為原六十四行,一百二十八條確認樣本未推理。[4] 新聞標籤對應世界、體育、商業、科技,分別輸出 A/B/C/D。[5] 先給固定 parquet 行位置編號,再在每類內按 SHA256('91:'+idx) 排序:train 各取八行;test 各取前八行作開發、隨後十六行保留。故新聞測量是三十二條類別均衡的開發子集,不能稱完整 test 成績。未見確認數據共一百九十二條。
訓練池內部和對應開發、確認集通過規範化完全重複檢查;這不排除近重複、文章關聯或預訓練汙染。新聞來自公開數據提供方的固定鏡像,原始任務作者與打包提供方分開署名。保留樣本只檢查索引與重合,不送入模型。
| 條件 | 情感/新聞更新數 | 兩類監督 token | 總輸入 token |
|---|---|---|---|
| 僅目標 | 64 / 0 | 1024 / 0 | 10,556 |
| 25% 回放 | 48 / 16 | 768 / 256 | 25,477 |
| 50% 回放 | 32 / 32 | 512 / 512 | 40,398 |
| 半量目標輔助組 | 32 / 0 | 512 / 0 | 5,278 |
前三組固定六十四步、一千零二十四個監督目標;最後一組只匹配 50% 回放的目標暴露量,用來檢查“少訓目標”的解釋。回放按目標目標目標新聞、目標新聞的週期執行,各任務內部按凍結行序循環;兩任務訓練池各三十二行,沒有開發集回放。
四組均從原權重加載,134,515,008 個參數參與 SGD,學習率 0.001、無動量及衰減、裁剪閾值一;seed 91、CPU float32、四線程、eager attention。eval 模式關閉隨機模塊,但訓練保留自動求導。固定末步評測,不早停、不選最好檢查點。貪心最多生成三十二個新 token。
主指標分別是情感 JSON 和新聞字母的聯合正確率,即格式與標籤同時正確。另報普通情感回答、格式率、唯一顯式標籤的內容代理;後者不是人工語義金標。選擇規則預先寫明:新聞正確數至少為基線減一,再最大化 JSON 聯合正確;並列選較低迴放比例。只在開發集執行這一規則。
實際結果:混合並未保護可見行為
| 狀態 | 普通情感正確 | JSON 格式通過 | JSON 聯合正確 | 新聞聯合正確 |
|---|---|---|---|---|
| 訓練前 | 57/64 | 0/64 | 0/64 | 8/32 |
| 僅目標 | 33/64 | 64/64 | 58/64 | 8/32 |
| 25% 回放 | 34/64 | 64/64 | 58/64 | 8/32 |
| 50% 回放 | 34/64 | 59/64 | 51/64 | 5/32 |
| 半量目標 | 55/64 | 61/64 | 51/64 | 8/32 |
僅目標與 25% 回放雖然 JSON 總分相同,逐例仍有一勝、一負、六十二平;不能把同分寫成行為完全一致。新聞兩組正確樣本都與基線相同。預定規則選擇僅目標,含義只是這組在當前約束下更簡單,不是證明零回放普遍最優。
50% 回放相對基線新聞為二勝、二十五平、五負。格式卻從三十條合格升到三十二條:格式改善並未帶來內容改善。基線三十條輸出 A,另兩條不是合法單字母;50% 回放變為二十個 A、九個 C、三個 D,沒有 B。均衡訓練標籤並不保證生成分佈均衡。
新聞索引 2853 的原標籤是世界,輸出從 A 變 C;6105 的原標籤是商業,輸出從 A 變 C。相同輸出變化在不同樣本上可分別造成損失和收益。逐例比較比“多樣性增加所以更好”的事後故事更有約束力。沒有人工重新標註新聞語義。
半量目標組與 50% 回放的 JSON 都為 51/64,逐例也有一勝一負;但普通情感分別為 55/64、34/64,配對二勝、三十九平、二十三負。加入新聞不只減少了目標訓練,還改變了優化路徑和額外監督;本實驗不能隔離到底是任務干擾、順序還是字母約定造成差異。
失敗排查與證據邊界
最重要的失敗是測量地板。三十二條新聞每類八條,永遠回答 A 也得八分;當前基線沒有建立可靠新聞能力。相同八分不能證明舊能力保存良好,下降三分也不能直接叫災難性遺忘。看到低分後換任務、提示或標籤順序,直至找到漂亮曲線,會把開發探索包裝成預先檢驗。因此本次按協議保留任務,明確報告診斷失敗。
工程上也有真實失敗:最初預處理在新聞行 112808 發現四百二十二個 token,超過二百五十六上限,模型尚未加載。保留失敗日誌後,只把新聞訓練上限改為五百一十二,未截斷或替換樣本;情感上限不變。這是推理前的資源修訂,已追加到協議。成功試跑十四步、四十次生成,再估算正式資源,未根據分數改預算。
正式實驗二百二十四步、八百次生成,導入後總耗時 223.41 秒,峰值 RSS 5.63 GB。四組訓練約 20.90、38.80、60.89、10.47 秒;GPU 內存未測。完整參數檢查點留在本地,並記錄文件哈希和非零權重變化。獨立審計重建掩碼、任務日程、預算、原始回答與標籤;沒有用語法通過替代真實訓練。單種子、微小子集和類別配額不支持總體顯著性或跨平臺位級一致結論。
源碼與復現入口
本篇源碼已公開發布:固定提交源碼目錄、README 與運行說明、SOURCE_MAP 官方源碼對應。固定版本為 7bd49bd7d6c1;請使用該提交復現,避免主分支變化。
安裝 README 中固定依賴,執行 python prepare.py --cache ./cache 後,最小入口為 python run.py --cache ./cache --out smoke-new --private ./private-new --smoke。產物包括任務索引、逐步預算、逐例輸出、指標、資源記錄與檢查點;再運行 python audit.py --cache ./cache --out smoke-new。去掉試跑參數可復現全部四組,緩存會再次核對哈希。
本篇本地保留完整原始輸出;兩份數據卡許可均為 unknown,分發包不包含原始影評、新聞、輸入 token、權重或環境。個別模型回答複述新聞,公開驗證記錄僅保留這些回答的哈希和派生評分,原始版本私有歸檔;腳本實際運行會生成完整新記錄。其餘回答可逐例審計,不能把刪去文本的記錄冒充公開原文。解壓與公開副本均另做最小真實運行。
可檢驗的研究問題
第一種解釋是新聞字母映射本就不適合該模型。下一篇可在獨立開發材料上固定語義匹配的類別文本、字母映射及模板變體,分別測格式和內容,並先完成人工標籤保持檢查;若文本類別明顯改善而字母仍偏置,就削弱“模型完全不懂新聞”的解釋。尚未完成的人審不能提前稱金標。
第二種解釋是順序與任務梯度衝突。固定兩任務暴露量後,預先比較交替、分塊和不同順序,再做多種子;若退化只發生於某種順序,單純比例解釋就不足。所有開發嘗試要登記,現有確認集繼續封存,不能看完失敗再修改最終檢驗。
總結
本篇沒有得到“回放保護舊能力”的正結果。它交付了可復跑的混合實驗,也識別出一個更基礎的要求:保留任務必須先展示可測能力。受控預算、負結果、失敗日誌和競爭解釋,比把同分包裝成遺忘被解決,更能推動連續研究。
參考資料
檢索與實際訪問日期:2026-10-04。
- HuggingFaceTB,SmolLM2-135M-Instruct 固定模型卡。模型身份、模板和許可。
- Suhas Kotha、Jacob Mitchell Springer、Aditi Raghunathan,ICLR 2024,Understanding Catastrophic Forgetting in Language Models via Implicit Inference,v2。僅引用其任務推斷假設。
- Hugging Face,固定 causal loss;PyTorch,固定 SGD。
- Richard Socher 等,EMNLP 2013,Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank;SST-2 固定數據卡。
- Xiang Zhang、Junbo Zhao、Yann LeCun,2015,Character-level Convolutional Networks for Text Classification;作者倉庫;本次 AG News 固定數據卡。核對任務來源、標籤與當前數據打包。