模板變化與固定研究對象

  • 日期:2026-10-05
  • 讀者:研究生、科研新人和工程型研究者
  • 範圍:真實小模型、六種模板、兩種模型狀態;開發實驗,非完整基準。
  • 驗收狀態:計算、自動審計與真人標籤保持審查均已通過;人工結論依據用戶於十月五日在本會話中的直接確認。

摘要

上一篇改變訓練數據混合比例,卻沒有得到可信的新聞能力保持收益。本篇固定已選定的檢查點,把問題縮小為:同一條影評換一種問法,微調收益還存在嗎?我們複用六十四條情感開發樣本和三十二條新聞開發樣本,運行六百四十次真實生成。微調後的原 JSON 模板與指令改寫都答對五十八條,但互有一條得失;交換指令順序後只剩五十五條,格式仍全部合格。原單詞輸出約定則從五十七條降至三十三條。結果說明,格式、內容和任務遷移必須分別測量。用戶已確認真人標籤保持審查通過;這仍是有完整日誌的開發探索,不能據此改稱盲測。

目錄

  1. 復現價值與核心思想
  2. 公式、變量與評測協議
  3. 官方代碼閱讀路線
  4. 最小實驗與源碼入口
  5. 結果、失敗排查與研究問題
  6. 總結與參考資料

一、復現價值:別把熟悉的輸出當成普遍能力

監督微調,即用輸入和目標回答更新模型參數,可能同時改變任務判斷、回答措辭和輸出格式。只在訓練時的提示上測成功率,無法分開這些變化。JSON 是一種結構化文本格式;生成合法對象並不保證對象中的情感判斷正確。反過來,寫出正確情感詞卻多加解釋,也可能不滿足接口約定。

論文報告:Sclar、Choi、Tsvetkov 與 Suhr 的 ICLR 2024 論文研究語義保持的提示格式變化,建議考察多種合理格式下的表現範圍。原論文 v2支撐“單一提示不足以刻畫穩健性”,並不提供本實驗的預期分數。Yan 等人的對比式指令微調論文進一步研究等價指令的表示一致性;本文沒有運行其訓練算法,不能借用論文提升作為自己的證據。

相較 091,本篇新增變量是用戶指令的呈現方式,凍結模型狀態、原始文本、標籤映射、聊天包裝和解碼規則。模型來自 SmolLM2-135M-Instruct,原始檢查點本身已經過指令微調;“微調前”只表示我們這一小段增量訓練之前,絕不是未經訓練的語言模型。

二、核心思想:沿三個距離逐步外推

固定樣本與配對評測流程

最近的一層是同一任務、同一輸出約定,只改任務句的措辭。主對照把“分類這條影評的情感”改成“判斷這條影評表達的情感”,保留 positive/negative 標籤及完整 JSON 要求。第二個變體僅交換任務句與輸出要求的前後位置,二者是次要對照,不能看完結果再挑表現更好的一個作結論。

再遠一層沿用原 plain 模板,要求只輸出一個小寫情感詞。這同時改變輸出約定,不能歸因於同義改寫。最遠一層是新聞主題分類,用 A/B/C/D 對應 World、Sports、Business、Science and Technology,並比較原指令與改寫指令。兩層診斷幫助限定收益,但不與主對照混為一個平均分。

新聞沒有進入所選 target_only 檢查點的增量訓練,卻在 091 參與過開發集選擇;預訓練數據也不可完全追溯。因此這裡只能叫“訓練排除的任務族”,不能叫從未接觸的任務或盲測遷移。二元情感與四類新聞的難度、類別數不同,也不宜橫向比較原始準確率高低。

三、公式與評測協議:格式和內容各記一筆

記第 i 個樣本在模板 t 下的嚴格格式是否合格為 F_it,輸出中唯一顯式類別是否匹配原標籤為 C_it。聯合正確定義為:

Jit=FitCit,Δt=1n∑i=1n(Jit−Ji0).J_{it}=F_{it}C_{it},\qquad \Delta_t=\frac{1}{n}\sum_{i=1}^{n}(J_{it}-J_{i0}).

這裡 F、C、J 均取零或一;n 是同一任務的樣本數,零號模板是原模板。每行差值屬於負一、零、正一,對應輸、平、贏。計算按原樣本配對,不把一個樣本的多個模板當成獨立觀測。正文只報計數和描述性差值,沒有置信區間或多種子穩定性聲明。

格式評分拒絕額外 JSON 鍵、重複鍵、錯誤大小寫和對象外解釋。內容評分沿用既有唯一標籤抽取器;一段同時含 positive 和 negative 的回答視為歧義,不由程序猜其真實意圖。C 是可重算的內容代理,不能稱為人工語義準確率。條件正確率也不能只保留格式成功樣本而省略分母,否則最難回答可能悄悄消失。

語義保持屬於另一項證據。程序已檢查原文逐字不變、標籤和類別映射不變,並在推理前生成不含模型答案的人工審查包,共三百二十個模板與樣本組合。用戶隨後在本會話直接確認“真人審查通過了”,我們據此記錄回顧性審查通過,並保存確認原文及審查包哈希。用戶未另交逐行批註及精確審查完成時間,因此保留原空表,不代填三百二十條判斷,也不把確認記錄時間冒充審查發生時間。

四、官方代碼閱讀路線:從輸入到輸出追一條樣本

先讀固定模型卡和 tokenizer 配置,確認聊天模板及特殊符號,再進入 Transformers 的 apply_chat_template。本篇修改的是用戶消息內部的任務句,角色包裝沒有變化。拼接後再次分詞時禁用重複添加特殊符號,並記錄提示哈希和長度。源碼地圖列出核驗過的永久行號。

隨後讀 LlamaForCausalLM.forward 和 generate 的貪心分支。實際首條輸入為 [1,83],隱藏表示為 [1,83,576],詞表 logits 為 [1,83,49152];三個維度分別是批量、序列長度及隱藏寬度或詞表大小。首個生成 token 與末位置 logits 最大值一致,檢查能發現截取輸入前綴等常見錯誤,但不證明答案正確。

為讓讀者獨立恢復微調檢查點,入口同時包含六十四步訓練重建。官方因果交叉熵會移位標籤,我們傳入未移位標籤,只監督助手回答到真實結束符,前綴與填充為忽略值。每步十六個有效監督 token,總計一千零二十四個;獨立移位損失與官方結果的最大差約為一億分之十二。EOS 與 padding 使用同一編號時,必須依據真實長度保留有效 EOS。

實際安裝的四個 Transformers 文件與一個 PyTorch SGD 文件均同固定官方提交逐字節一致。教學代碼獨立負責實驗編排、掩碼和評測,沒有聲稱復現官方完整訓練配方;許可證、提交與本地模塊對應關係寫入 SOURCE_MAP。

五、最小實驗與源碼復現入口

公開源碼已發佈並匿名核對五十六個文件:固定提交目錄、README 與復現說明、SOURCE_MAP 與官方代碼對應。公開確認記錄補充了真人審查結論,運行時的待審日誌仍保留為歷史證據。

模型和 tokenizer 固定 revision 為 12fd25f77366fa6b3b4b768ec3050bf629380bac;SST-2 與 AG News 的精確 revision、二十個資源文件哈希均在資源鎖中。情感訓練三十二條、開發六十四條沿用舊劃分;新聞三十二條開發樣本每類八條。一百二十八條情感和六十四條新聞確認樣本從未推理。開發樣本已被反覆分析,不能換個名稱重新當測試集。

安裝鎖定依賴、執行下載校驗後,最小入口如下,目錄由讀者自行指定:

python run.py --cache ./cache --out smoke-new --private ./private-new --smoke
python audit.py --cache ./cache --out smoke-new

試跑仍重建全部六十四步訓練,只縮小推理到兩條情感、四條新聞,共三十二次生成。預期產物包括逐步損失、檢查點參數哈希、逐例預測、配對結果及環境記錄。試跑用時二十七點四秒,峰值約二點六五 GiB;重建參數和全部訓練步的損失、梯度範數與 091 一致。

正式實驗直接複用已核驗的 091 檢查點,沒有新增更新;六百四十次生成耗時九十二點七秒,峰值約一點六零 GiB,均是本機 CPU 實測、導入依賴之後計時。設備為 Apple 平臺 CPU,Python 3.12.14、PyTorch 2.6.0、Transformers 4.49.0,四線程、單精度、貪心生成上限三十二 token,GPU 內存未測。

緩存身份同時記錄模型、tokenizer、數據、模板、提示、解碼、代碼和檢查點哈希。恢復時核對的是參數內容,不應把因序列化文件名變化造成的文件哈希差異誤判為訓練不一致。數據卡許可證不明確,分發包不含原影評、新聞、權重或輸入 token;可用固定下載入口重建。

六、實際結果:同分也可能互有損失

下表每格依次為格式合格、內容代理正確、聯合正確的數量。

模板 樣本數 微調前 F/C/J 微調後 F/C/J
原 JSON 64 0/50/0 64/58/58
改寫任務句 64 0/54/0 64/58/58
交換指令順序 64 0/53/0 64/55/55
原 plain 64 64/57/57 64/33/33
原新聞 32 30/8/8 29/8/8
改寫新聞指令 32 31/8/8 29/7/7

本次實際驗證:主對照微調後有一贏、六十二平、一輸,淨差為零。編號 650 從正確 negative 變成錯誤 positive,736 則反向改善。兩者相抵不表示輸出完全相同,也不能只展示改善案例。交換順序出現一贏、五十九平、四輸,淨損失三條;237、178、436、571 都從正確負向變成錯誤正向,222 改善。

這些輸出全部滿足 JSON 約定,因此這一局部損失不能歸因於 JSON 解析失敗。原 plain 的格式也始終全過,但內容下降二十四條。新聞則仍在每類均衡樣本上接近恆定分類器的八條正確地板,無法據此證明已獲得穩定的可遷移新聞能力。

輸入長度與成本另列在日誌。任務句改寫使每條影評多兩個輸入 token;交換順序的總輸入 token 與原模板相同,但位置不同。微調前改寫模板有十七條達到生成長度上限,原模板只有一條。因此差異可能混有輸出長度與抽取行為,不能統稱為“純語義敏感”。

七、失敗排查與可檢驗研究問題

先排工程錯誤:檢查權重哈希、樣本集合、標籤對應、提示原文、截斷和計分器。本次沒有輸入截斷;原始六百四十條輸出已逐條重解析,八個解析邊界用例通過。公開包對八條可能複述原數據的長輸出保留哈希和派生分數,六百三十二條可直接重解析;完整原始審計留在本地,公開審計的覆蓋差異明確記錄。

再排解釋越界。作者推斷是:當前更新可能較穩定地適應了 JSON 回答,卻沒有在所有輸出約定下改善情感判斷。這個推斷與表中現象相容,但尚未通過因果乾預驗證。單個小模型、單種子、少數英語開發樣本和有限模板,都限制外推範圍。

後續可檢驗兩個競爭解釋:其一,損失來自指令位置;其二,損失主要來自輸出約定引起的類別偏置。人工變換審查通過後,下一步應登記等 token 長度的位置對照,並按凍結方案在多個訓練種子上覆測。若不同種子下損失方向反覆變化,就應撤回穩定模板效應的判斷;若只在 plain 出現類別塌縮,則優先研究輸出約定。不能看完確認集再改模板尋找勝出。

八、總結

本次最有價值的證據不是一個漂亮總分,而是同分模板中的一贏一輸、格式完全正確時仍出現的內容損失,以及新聞低基線帶來的解釋上限。正文、源碼、圖像和日誌已經保存,用戶也已確認真人審查通過。計算驗證與人工確認各有記錄,原始失敗和探索邊界繼續保留;完成本篇驗收後,下一篇進入多種子研究。

參考資料

檢索並實際打開日期:2026-10-05;以下均為一手材料。

  1. Melanie Sclar、Yejin Choi、Yulia Tsvetkov、Alane Suhr,ICLR 2024:Quantifying Language Models’ Sensitivity to Spurious Features in Prompt Design,v2。
  2. Tianyi Yan 等,Findings ACL 2024:Contrastive Instruction Tuning。
  3. HuggingFaceTB:SmolLM2-135M-Instruct 固定模型卡。
  4. Richard Socher 等,EMNLP 2013:Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank;SST-2 固定數據卡。
  5. Xiang Zhang、Junbo Zhao、Yann LeCun,2015:Character-level Convolutional Networks for Text Classification;AG News 固定鏡像數據卡。
  6. Hugging Face 與 PyTorch:固定生成實現、固定 SGD 實現。