
- 日期:2026-10-01
- 讀者:研究生、科研新人和工程型研究者
- 範圍:真實 SmolLM2-135M-Instruct、英語情感分類、兩種固定輸出約定;無訓練,不是完整基準評測。
摘要:先知道“提升”可能從哪裡來
微調後的準確率提高,可能是模型更會判斷情感,也可能只是終於按要求輸出。如果訓練前把兩件事混成一個分數,訓練後就很難解釋損失下降的意義。本篇先建立能夠拆開檢查的起點:相同影評、相同權重,只改變回答應當是單個標籤還是一個 JSON 對象。JSON 是用鍵值對錶達結構化信息的文本格式。
本次實際驗證中,純標籤條件答對 57/64,且全部滿足格式;JSON 條件能抽取正確情感詞的有 50/64,卻沒有一條滿足完整格式約定。這個差距值得研究,但還不能寫成“小模型不會結構化輸出”:我們只測了一個檢查點、兩條提示和一小組開發樣本。
一、復現價值:給後續微調留下可比較的起點
上一單元研究檢索方法的排名與遷移,087 已完成凍結配置的跨集合評測。從本篇開始,研究對象改為小模型的任務微調;複用環境、版本鎖定和逐例審計方法,不把檢索分數接到分類分數上。新增問題是:回答格式變化會怎樣影響我們測到的任務能力?新增產物是一份能重放的原始回答賬本。
選擇 Instruct 版本意味著模型已經接受過官方指令訓練。這裡“微調前”指我們即將開展的任務微調之前,不能解釋成從未做過監督微調。模型卡報告該系列使用公開及整理的數據進行指令訓練,並指向 smol-smoltalk。[1] 這不等於本次重現了官方訓練過程,也不構成數據沒有汙染的證明。
大綱中的 smol-smoltalk 適合後續研究數據混合,但開放式回答缺少本篇需要的簡單、確定的正確性標籤。因此本篇採用有來源標籤的 SST-2 二分類影評,smol-smoltalk 暫未下載或訓練。SST 論文研究情感組合性;我們僅使用其公開二分類導出,不復現原論文樹模型。[2][3] 英語實驗也不能外推為中文能力。
二、核心思想:把合規、答對和聯合成功拆開
對第 i 條樣本,令 F_i 表示回答是否滿足格式,C_i 表示從回答抽出的唯一情感標籤是否等於來源標籤:
這裡 N 是所有被評測樣本數,本次每個條件都是 64;F、C、J 分別是格式合規率、標籤正確率和聯合成功率。失敗回答不能從分母裡消失。另報合規回答中的正確率,但合規數為零時應記“未定義”,不能把零除零寫成零分。
純標籤要求去除兩端空白後恰好是小寫 positive 或 negative。JSON 要求完整解析成功、只含 sentiment 一個鍵、值為上述小寫標籤;重複鍵、額外字段、代碼圍欄都不合格。內容抽取則忽略大小寫,查找完整單詞;只有一種情感詞時才給出預測,缺失或兩種都出現均計錯。
這個 C 是“顯式標籤正確”的自動代理指標,不是人工語義判斷。例如帶否定的解釋可能誤導抽取器。因此四種組合都值得保留:格式對但標籤錯、格式錯但標籤對、兩者都對和兩者都錯。評價器本身也需要檢查,不能自動升級為真值。

三、官方代碼閱讀路線:從角色邊界追到下一個詞
先讀固定模型的 config 與 tokenizer_config,再讀 Transformers 的三個入口,具體行號及許可證見源碼地圖。[1][4] 分詞器把文本切成 token;聊天模板則把 system、user、assistant 等角色組織成模型熟悉的序列。本篇顯式給出同一個 system 消息,並設置 add_generation_prompt,讓輸入結束在助手回答起點。模板默認補入的 system 文本因此不會被隱式採用。
隨後追蹤 LlamaForCausalLM:輸入 token ID 經模型得到隱藏表示,再由語言模型輸出頭投影到詞表。首例實際形狀為 [1,72] → [1,72,576] → [1,72,49152],三個軸依次是批量、序列長度和隱藏維度或詞表大小。形狀來自真實前向記錄,不是按模型名稱推測。
最後讀 generate 中的貪心分支:每一步選當前分數最大的 token,直到結束標記或生成上限。本次關閉採樣、設一束搜索,首個生成 token 還與直接前向的 argmax 核對一致。官方源碼中的函數名雖然叫 _sample,關閉採樣時走的仍是 argmax 分支,不能只憑函數名判斷協議。[4]
本地程序直接調用官方實現;三份關鍵安裝源碼與固定提交逐字節一致。評分、劃分與審計是獨立教學實現,源碼地圖沒有把這些自定義規則包裝成官方評測器。
四、最小實驗與評測協議:先凍結,再看回答
模型與 tokenizer 固定在同一 revision 12fd25f77366fa6b3b4b768ec3050bf629380bac;SST-2 固定在 8d51e7e4887a4caaa95b3fbebbf53c0490b58bbb。下載文件逐個記錄 SHA-256。數據原有 validation 共 872 條,按種子 88 與原始 idx 組成字符串的哈希排序,前 64 條作開發,後 128 條保留確認,其餘不使用。確認部分只登記 ID,沒有運行模型或挑選案例;官方 test 未下載。
兩條件保持樣本、任務描述、標籤順序、權重和模板不變,只替換輸出要求;沒有示例。CPU、float32、四線程、批量一,最多新生成 32 token。輸入不做截斷,超過 512 token 就報錯;本次全部未觸發。模型有 134515008 個實際參數,權重文件約 269 MB。
首次命令誤漏試跑開關,提前完成了開發集。我們保留這次記錄,再做兩條樣本乘兩條件的正確試跑:總計約 0.91 秒,峰值約 1.25 GB,按線性估算在預定 900 秒、4 GiB 內存預算內,隨後正式復跑。原始與正式預測、評分一致,但它們不是兩次獨立抽樣實驗;全部結果均保持“開發探索”身份。
正式運行記錄總計 13.05 秒,推理階段約 12.69 秒,峰值常駐內存 1252720640 字節。計時從第三方庫導入後開始,含緩存校驗與模型加載,不含下載及進程啟動;沒有測 GPU 內存。環境、命令、退出碼和分階段狀態均保存,不能用這個小實驗的速度保證其他機器的耗時。
五、本次實際驗證:格式零分不等於沒有任務信號
| 指標,同一組 64 條樣本 | 純標籤 | JSON 要求 |
|---|---|---|
| 格式合規 F | 64/64 | 0/64 |
| 顯式標籤正確 C | 57/64(89.06%) | 50/64(78.13%) |
| 聯合成功 J | 57/64 | 0/64 |
| 無法抽出唯一標籤 | 0 | 1 |
| 達到生成長度上限 | 0 | 1 |
恆定預測正類能得到 33/64。這不是強模型對照,但能防止把類別比例當成可用信號。純標籤明顯高於這個樣本內參照,說明存在值得繼續測的行為;尚未計算置信區間,不據此宣佈總體顯著性。
逐例配對更有解釋力:JSON 條件的標籤正確性有 4 條改善、49 條不變、11 條變差。對負類答對數從 26/31 變為 29/31,對正類則從 31/33 變為 21/33。均值下降並不是所有樣本一起下降,也不宜稱為整齊的“能力退化”。這些分組來自保存記錄,沒有據此重新選擇提示。
兩組生成 token 總量分別為 128 和 422,均含結束標記;輸入總量為 4546 和 5250。JSON 每條提示多 11 token,因此這次估計的是改變輸出約定的整體效果,不是嚴格等 token 成本的比較,更沒有隔離詞序、長度和語法複雜度各自的因果貢獻。
尤其要避免只保留能解析的回答再算正確率:那會悄悄換掉被測人群,也可能讓更常拒絕作答的方法顯得更強。本篇所有原始樣本都進入分母,聯合成功衡量整個回答是否可直接使用,標籤正確則提供更寬鬆的診斷視角。兩者回答的問題不同,應並列呈現。後續即使新增自動修復器,也要保存修復前的回答,並把修復成本與評價規則變化寫清楚,否則無法辨認提升來自模型還是後處理。
六、失敗排查:保留回答,再提出解釋
案例按事先規則選擇每個非空格子中 idx 最小的一例。idx 34 在 JSON 條件下回答了一個包含 negative 的英文解釋句:標籤與來源一致,但整個字符串不是要求的對象。idx 123 回答大寫 Negative,既未遵守結構,標籤也不符合該樣本來源。純標籤 idx 322 則輸出合法的 positive,卻判錯類別。三例對應不同失敗,不能都歸因於“模型太小”。
排查次序應先看輸入角色邊界、標籤映射、只截取新生成部分、結束條件,再看任務錯誤。本次獨立審計從原數據核對標籤和樣本 ID,從輸出 token 重建回答,重算指標,並檢查重複鍵、圍欄、雙標籤等八個邊界用例。沒有人工新增標註,也沒有把程序審計寫成人工金標。
JSON 的 64 次失敗中只有一次達到長度上限,因此“都是預算太短”無法解釋全部現象;它仍可能解釋個別失敗。至於模型是否偏好直接回答、是否需要結構示例,目前只是作者推斷。缺乏對照時,不能把一個看起來合理的故事當作機制結論。
七、從基線提出可檢驗的科研問題
下一篇先檢查監督位置:訓練損失究竟覆蓋了提示、標籤、結構符號還是結束標記?如果僅加強格式監督就提高 F,但 C 未改善,證據更支持輸出約定適配;若在凍結格式後標籤正確率也提高,才有理由繼續研究任務學習。兩種解釋需要不同監督掩碼的受控實驗來區分,現在沒有訓練結果。
後續必須沿用這些開發 ID、模板和評價器,記錄任何變更;訓練樣本量與有效監督 token 另行控制。若根據本篇錯誤調整提示,調整後的成績屬於開發選擇,不能借保留確認集反覆試驗。最終方案凍結後才能使用那 128 條確認樣本;公開數據可能進入過上游訓練的限制仍然存在。
源碼與復現入口
本篇已發佈固定版本:完整源碼目錄、README 運行說明、SOURCE_MAP 官方源碼地圖。47 個文件已匿名拉取並與本地逐字節哈希核對,公開副本的審計和真實試跑通過;這些鏈接固定在同一提交,不隨主分支更新。
安裝 README 中的固定依賴並運行下載器後,最小命令為 python run.py --cache ./cache --out smoke-new --smoke。它運行真實兩條樣本、兩種回答約定,產生逐例回答、聚合、形狀和資源記錄;去掉試跑開關可重做全部 64 條開發實驗。獨立審計入口為 audit.py。本次實際完成了資源獲取、試跑、完整開發推理及原始輸出重算,沒有訓練或保留集推理。
SST-2 數據卡將許可標為未知,源碼包不重分發原始影評;下載路徑、revision 與哈希均可查。緩存身份還包括模型、tokenizer、提示、解碼及執行源碼,換配置不能誤用舊回答。
總結
一份有研究價值的微調基線,應當讓之後的提升可以被拆解和質疑。本篇已經得到任務信號,也保留了結構化要求下的負結果。下一步不是立即尋找更漂亮的分數,而是把“學會格式”和“學會判斷”轉成能夠分別檢驗的監督實驗。
參考資料
檢索與實際訪問日期:2026-10-01。論文報告、上述實際運行與作者推斷分開陳述;未運行的後續訓練待人工核驗。
- HuggingFaceTB:SmolLM2-135M-Instruct 固定模型卡;smol-smoltalk 官方數據卡。用於確認檢查點及官方訓練材料,本次未復現其訓練。
- Richard Socher、Alex Perelygin、Jean Wu、Jason Chuang、Christopher D. Manning、Andrew Ng、Christopher Potts,2013:Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank,EMNLP。
- Stanford NLP:SST-2 固定數據卡原文。固定原文實際下載核驗;網頁渲染入口曾失敗,不據此猜測許可。
- Hugging Face,Transformers 4.49.0:聊天模板源碼、Llama 輸出頭、貪心生成分支。