
- 日期:2026-10-02
- 讀者:研究生、科研新人和工程型研究者
- 範圍:SmolLM2-135M-Instruct、SST-2 英語情感分類;小預算訓練審計,不是完整基準成績。
摘要:先證明損失確實監督了想教的部分
看到訓練日誌中的 loss,並不等於知道模型正在學什麼。SFT 是監督微調,即用給定輸入和目標回答更新已有模型。本篇把問題收窄:聊天模板變成 token 序列以後,損失覆蓋的是提示、回答、結束標記,還是無意混入的填充?token 指分詞器產生的離散文本單元,不一定對應一個漢字或完整單詞。
本次實際運行了兩組真實全參數更新,每組八條訓練樣本、四步。掩碼與梯度檢查通過,JSON 格式成功數卻仍為零。這不是需要隱藏的失敗:它把“訓練管線有效”與“行為已經改善”分開,也提醒我們不要把一個較小的 loss 當作更好的方法。
一、復現價值:承接格式失敗,而不是重建基線
088 已發現,同一模型在純標籤與 JSON 輸出約定下表現不同。本篇沿用它的模型、分詞器、提示和評分器,只新增監督位置對照;開發評測取原有六十四條中的固定前八條,另留的一百二十八條確認樣本繼續不推理。不能把這八條的分數直接與上一篇六十四條總分相減。
模型仍是已經接受官方指令訓練的 Instruct 檢查點。模型卡說明其指令訓練使用公開及整理的數據,並經過偏好優化;本文不復現那個完整流程,也不宣稱從未經微調的基礎模型開始。[1] 新增訓練樣本來自固定版本 SST-2 的官方 train 劃分,原驗證劃分只用於行為觀察。[2][3]
真正新增的產物不是一條漂亮曲線,而是逐位置監督賬本、逐步梯度、兩份最終參數狀態和更新前後的原始輸出。讀者可以追問:第一枚回答 token 有沒有被教到?結束標記有沒有被誤刪?沒有回答的樣本是否仍被送進訓練?
二、核心思想:輸入可見,不等於直接計入損失
設批量大小為 B、填充後序列長度為 T,模型輸出分數張量 z 的形狀是 [B,T,V],V 是詞表大小。對輸入序列 x 和監督標記 m,使用的平均交叉熵為:
這裡位置按零起點編號,m 為一表示該目標參與監督,零表示忽略;位置 t 的目標由前一位置的輸出預測。分母是這一批真正被監督的 token 數,不是樣本數,也不是填充後的矩形面積。分母為零時,應在進入訓練前報錯。
全序列組監督首個 token 之後的所有真實位置;僅回答組只監督助手回答及其真實結束標記 EOS。兩組都保留完整提示作為輸入,填充位置都不監督。模板產生的最後一個 EOS 之後還有換行,本篇明確在兩組中一起刪除,不把這個決定藏在數據處理裡。
“標籤掩碼”是哪些位置計分;“注意力掩碼”則決定填充等位置如何參與注意力計算。把提示的標籤設為忽略值,並不表示從上下文刪掉提示,也不表示提示對應的內部表示沒有梯度。回答仍然依賴前面的任務說明和影評,這正是後面要測的區別。

三、官方代碼閱讀路線:沿著真正執行的鏈路追
先看模型的 tokenizer_config。其聊天模板寫入角色起止標記,並且 PAD 填充符與 EOS 結束符共用 ID 2。[1] 因而不能用“凡是等於 pad_token_id 就設為 -100”的捷徑:那樣會同時刪掉真實回答結尾。我們按真實長度和回答邊界構造標籤,另用錯誤做法檢查反例,八條樣本都少掉了一枚應監督的 EOS。
再看 Transformers 的 apply_chat_template。程序分別渲染含助手起點的提示,以及包含完整回答的對話,逐 ID 斷言前者確實是後者的前綴。[4] 通過後才用該邊界掩碼,而非按字符串長度猜 token 數。本次只證明這種單輪模板可用;多輪對話、邊界分詞合併或工具消息需要重新審計,不能照搬一個固定偏移。
隨後讀 LlamaForCausalLM 的詞表投影和 loss_function 調用,再進入固定提交的 ForCausalLMLoss。官方函數已經完成標籤移位,並把忽略值設為 -100。[4] 本地直接傳未移位標籤,同時獨立計算“前 T−1 個 logits 對後 T−1 個 labels”的交叉熵。若調用方再次提前移位,模型就會被訓練去預測錯誤的後續位置。
最後追到 PyTorch SGD 的參數更新。[5] 本地沒有改寫模型數學;四份 Transformers 安裝源碼及 SGD 文件均與固定官方提交逐字節相同。模板、掩碼構造和審計是獨立教學實現,源碼地圖明確區分直接調用、複用作者代碼與自定義規則。
四、最小實驗:先凍結樣本與預算,再更新參數
訓練集按 SHA256('89:'+idx) 排序取前八條,正負各四條;這是一條預先登記的選擇規則,未按訓練效果篩樣本。驗證沿用上一篇 SHA256('88:'+idx) 的順序。規範化文本核對未發現所選訓練樣本與開發及保留樣本完全重合,但這不能排除近重複或上游預訓練汙染。SST-2 訓練數據還包含影評片段,idx 也不能一概解釋為獨立完整影評。[3]
兩組從同一份原始權重分別開始,完整輸入、樣本順序、批量二、四步、學習率 0.001 相同;採用無動量、無權重衰減的 SGD,全局梯度範數裁剪閾值一。全部 134515008 個參數參與優化。為關閉隨機模塊,模型保持 eval 模式但啟用自動求導;eval 不等於禁止梯度,也沒有使用推理模式包住訓練。
設備為 CPU、float32、四線程,顯式使用 eager 注意力。先運行每組兩條、一步的試跑,再據實測資源繼續四步正式實驗。試跑總耗時 5.518 秒、峰值約 2.33 GB;正式總耗時 9.943 秒、峰值約 2.66 GB,均在九百秒和六 GiB 預算內。總時間從第三方庫導入後起算,包含資源校驗、模型加載、訓練、保存及評測;不是純訓練速度。GPU 內存未測量。
五、本次實際驗證:掩碼正確,行為仍可沒有改善
第一批輸入形狀為 [2,92],logits 為 [2,92,49152];三軸分別是批量、位置和詞表。獨立交叉熵與官方 loss 的最大絕對差為 4.7684×10⁻⁷。首回答目標、真實 EOS 和填充標籤逐項通過;所有忽略目標對應的 logits 直接梯度均為零,但提示輸入 embedding 的梯度非零。後者表示提示仍參與回答計算,不能據此前者宣佈提示“沒有被學習”。
兩組首層查詢投影矩陣都發生可測變化,最大絕對改變量分別約 2.11×10⁻⁶ 和 2.50×10⁻⁶。最終參數狀態和哈希已本地保存。小幅變化證明優化器執行過,卻不能單獨證明模型學會了任務。
| 同一組八條開發樣本 | 更新前 | 全序列四步 | 僅回答四步 |
|---|---|---|---|
| 純標籤:格式合規 / 標籤正確 | 8 / 6 | 8 / 7 | 8 / 7 |
| JSON:格式合規 / 標籤正確 | 0 / 6 | 0 / 6 | 0 / 6 |
| JSON:格式與標籤同時正確 | 0 | 0 | 0 |
評分沿用 F 格式合規、C 唯一顯式情感詞匹配來源標籤、J 二者同時滿足。C 是自動代理,未做人類語義標註。完整四十八條生成都保留,所有樣本進入分母,未自動修復 JSON。兩組都只把 idx481 的純標籤由 negative 改成 positive;JSON 原始回答全部不變。一次單樣本變化不足以宣稱總體準確率提高,更不能證明兩種監督等價。
六、失敗排查:先檢查分母,再解釋訓練現象
每組輸入共六百八十四個真實 token,但全序列有效監督六百七十六個,僅回答只有六十四個。首批 loss 分別約 3.1793 與 0.8639,後者較小並不意味著訓練更好:兩者預測的目標集合、歸一化分母都不同。這是相同步數和輸入的監督策略對照,不是等監督 token 預算的性能賽跑;所有更新還觸發了梯度裁剪。
四批的樣本不同,因此逐批 loss 的首尾差也不能當作同一批上的學習曲線。若要測固定目標是否擬合,應另設固定探針並保持評估方式;本篇沒有補選一個容易下降的子集。前向上下文仍相同,不能把監督 token 少十倍寫成計算成本省十倍。
截斷審計則給出更直接的失敗:上限六十四時,八條樣本的回答目標全部消失;九十六時只丟掉一條的 EOS;一百二十八和二百五十六沒有損失。正式訓練採用二百五十六且無截斷,遇到超長回答即失敗。這些結果來自真實序列位置,不是人為加長的演示輸入。
排查順序因此應是角色邊界、首回答對齊、真實 EOS、padding、有效分母、有限梯度,最後才討論能力。首次公開下載受沙箱代理連接限制失敗,隨後正常下載並通過固定哈希校驗;沒有更換數據或把失敗當作實驗成功。代碼執行、數據問題與模型負結果需要分別記錄。
七、可檢驗的研究問題:把“沒變化”拆成競爭解釋
作者推斷一是四步更新不足以改變貪心輸出,二是教師強制下目標概率變化尚未跨過自由生成的首 token 決策邊界。教師強制指訓練時向模型提供正確的前綴;自由生成時前綴由模型自己產生。本篇沒有保存完整前後概率分佈,因此兩種解釋尚未被區分,不能寫成已經定位的機制。
下一篇可在凍結開發協議下比較相同有效監督 token 的數據量與重複次數,同時登記固定目標似然、首個生成 token 及 F/C/J。若損失下降卻格式持續失敗,就要檢查訓練與生成條件差異;若只有重複同樣本才能改善,還需留出任務實例驗證記憶解釋。這些都是待人工核驗的後續實驗,不預先承諾提升。確認集不參與這些選擇。
源碼與復現入口
本篇已發佈固定版本:完整源碼目錄、README 運行說明、SOURCE_MAP 官方源碼地圖。四十個分發文件已匿名拉取並逐一核對 SHA-256,目錄、說明、地圖和入口均可公開訪問;公開副本的獨立審計及真實訓練試跑通過,損失、梯度與輸出和本地一致。鏈接固定到同一提交,不隨主分支變化。
固定依賴安裝並運行下載器後,最小命令是 python run.py --cache ./cache --out smoke-new --private ./private-new --smoke。它執行真實兩條訓練樣本、每組一步及兩條開發樣本的雙約定生成,產出損失、梯度、掩碼、輸出和檢查點;刪除試跑參數可重做正式實驗。獨立複核使用 audit.py,角色與錯誤 EOS 掩碼反例使用 role_audit.py。
本次實際完成下載、預處理、雙組訓練、開發生成和獨立審計。緩存鍵包含模型、分詞器、數據、模板、解碼、劃分及執行代碼。SST-2 卡片許可標為未知,公共包不包含原始影評或可逆輸入 token;這些本地審計材料、模型權重和訓練檢查點均不上傳,讀者從固定來源重新獲取並運行。
總結
監督位置是實驗假設的一部分。先讓每個 token 的計分責任、每個梯度的含義和每份原始輸出都可查,才有條件討論訓練效果。這個最小實驗留下了正確運行但格式未改善的證據,也為下一步控制訓練預算提供了清楚的起點。
參考資料
檢索及實際訪問日期:2026-10-02。網頁獲取失敗時改讀同一固定版本的官方原文,訪問記錄隨驗收保存。
- HuggingFaceTB:SmolLM2-135M-Instruct 固定模型卡;固定聊天模板與特殊符號。
- Richard Socher、Alex Perelygin、Jean Wu、Jason Chuang、Christopher D. Manning、Andrew Ng、Christopher Potts,2013:Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank,EMNLP。本文使用數據,不復現論文樹模型。
- Stanford NLP:SST-2 固定數據卡。
- Hugging Face,Transformers 4.49.0:聊天模板入口、模型損失調用、移位與忽略標籤源碼原文。
- PyTorch 2.6.0:SGD 單張量更新。