
- 日期:2026-10-07
- 讀者:研究生、科研新人和工程型研究者
- 範圍:固定小模型與官方評測器,64條開發樣本;不是完整GLUE基準或未見測試集。
摘要:先問分數是怎樣產生的
前六篇圍繞微調討論了格式與內容的代價。本篇進入第三單元,先不改模型,而是拆開負責打分的機器:同樣叫“SST-2準確率”,輸入怎樣拼接、答案怎樣計分、樣本怎樣編號,都可能不同。僅寫“使用官方評測器”,不足以讓另一位研究者重現同一個測量。
**本次實際驗證:**使用原始SmolLM2-135M-Instruct,在官方任務配置下得到32/64;獨立實現對128個候選答案的得分逐項重算,差異為零。更有價值的是,第一次完整運行雖返回相同總分,日誌題號卻有61處錯配,被身份斷言攔下。這不是一個“模型提高多少”的故事,而是一個“證據是否對應正確題目”的實驗。
復現價值與論文位置
task是評測框架中對一個任務的可執行描述,通常包括數據、劃分、提示、候選、答案和指標。YAML則是保存這些字段的配置格式,容易閱讀,卻不代表全部行為都寫在這一頁裡;未填寫的字段仍會從框架取得默認值。
**論文報告:**Socher等在2013年提出情感樹庫,GLUE論文隨後把SST-2納入多任務語言理解評測。[1][2] 這支持任務來源與研究位置,不支持把本篇64條子集當成完整GLUE結論。lm-evaluation-harness是軟件項目;本次使用其2025年發佈的0.4.9.2固定版本,不聲稱它是最新版本,也不虛構一篇與軟件同名的新論文。[3]
相對093,本篇新增問題是“官方得分能否被逐項重算”;凍結原始模型、既有開發樣本與數據標籤,新增變量是測量協議。我們沒有拿093訓練後的檢查點來混比。新增產物包括有效配置、候選token得分、官方逐題結果、身份檢查和可追溯失敗記錄。
核心思想:準確率之前還有一條計算鏈
官方SST-2任務把原句接到固定問題前,結尾為Answer:,候選依次為negative、positive。[4] multiple_choice在這裡表示對給定候選計分,不是要求模型自由生成一個選項字母。令上下文為,第個候選分為個token,則
對應同一條樣本,對應候選位置,是凍結的模型權重。候選對數似然越大越優;負數要選擇更接近零的那個。公式只累計候選token,不把整段題乾的概率混進去,也不自動除以候選長度。
是數據標籤,是實際評測行數,本次為64。兩個候選位置分別映射標籤零和一,得分完全相同時取第一個候選。最終平均的是逐題零一正確性,不能先平均所有負面詞得分再與正面詞均值比較。
模型輸入是一行token編號,去掉最後一個候選token後形狀為,輸出logits為;詞表維度為49152。若題幹長度為,候選第一個token由位置預測。這裡的移位與訓練交叉熵相通,但沒有反向傳播或權重更新。

圖中原始樣本同時提供題干與金標籤;金標籤只進入對錯計算和複核,不進入模型選答案的路徑。Manual Check表示原設計中的人工複核環節,沒有獲得真人確認;本次採用下文披露的獨立腳本算術復算。
官方代碼閱讀路線:從短配置追到默認行為
第一步讀固定提交的glue/sst2/default.yaml,把每一字段改寫成可檢查的問題:讀哪份數據,取哪一劃分,模型究竟看見什麼,零對應哪個候選?不要只讀任務名稱。
| 層級 | 本次有效設置 | 要檢查的含義 |
|---|---|---|
| 數據 | GLUE的sst2配置、validation | 有標籤的驗證集,被本項目當開發集 |
| 提示 | 原句、固定問題、Answer冒號 | 不套聊天模板,不另加系統提示 |
| 示例 | num_fewshot=0 | 實際加入零個示例,不等於模型從未受過指令訓練 |
| 候選 | negative、positive | 按此順序映射標籤,前面補一個空格 |
| 輸出 | multiple_choice | 計算候選似然,沒有自由生成與答案抽取 |
| 聚合 | acc、mean | 均值來自指標註冊,YAML未顯式寫出 |
第二步讀TaskConfig、fewshot_docs和construct_requests。[5] target_delimiter默認是一個空格;它不顯眼,卻屬於實際評分字符串。訓練劃分為train,未來增加示例時會用到相應樣本來源,但本次提示中示例數確實為零。未設置few-shot劃分不代表可以從評測題中任意找示例。
第三步沿_encode_pair進入Hugging Face後端。[6] 因果模型按上下文與候選拼接後的字符串分詞,再切分邊界;獨立實現還斷言題幹token是拼接結果的前綴。若分詞跨越邊界,簡單分別編碼再拼接可能不等價。本次兩個帶空格的候選都各佔一個token,編號分別為3524和2731;不附加EOS,不做長度歸一化。這個特殊事實不能外推到任意模型或答案。
最後讀process_results的argmax與metrics.mean,再讀官方simple_evaluate入口。[5][7] 七個安裝文件已經與固定官方提交逐字節核對。源碼地圖給出具體函數、行號、許可證和本地對應模塊,讀者可以定位每一層的責任。
最小實驗與凍結協議
模型與tokenizer沿用revision 12fd25f77366fa6b3b4b768ec3050bf629380bac。[8] 框架固定到ad3f4d0cad1cfcdb815f1e795f7947e49ed9f2e9。配置指向的GLUE數據固定到bcdcba79d07bc864c1c254ccfcedcce55bcc9a8c,並核對其67349條訓練和872條驗證記錄與此前Stanford副本逐行一致;確認的是句子、標籤和編號,不是兩個壓縮文件必須同哈希。
仍按088的哈希順序取64條開發、另留128條確認;前面單元保留的64條新聞確認也未推理。讀取確認行以保存劃分身份,不等於把它們送入模型。數據來源許可標記未知,因此公開包保存索引、哈希和派生分數,不分發影評原文、完整提示或題幹token編號。
官方支持custom_dataset接口,本地用它讀取已校驗的固定parquet,改變的是下載和緩存入口;原始任務名、提示、標籤、候選和評分邏輯保持一致。該差異必須明說,不能把定製傳輸描述成毫無覆蓋的默認命令。
CPU單精度、四線程、eager注意力、候選批量一、隨機種子94、長度上限512。獨立實現遇到超長輸入直接失敗;本次上下文19至61個token,沒有截斷。請求緩存與模型響應緩存關閉,保存的身份鍵仍包含模型、tokenizer、數據、提示、計分設置與代碼哈希,避免未來復用錯結果。
本次實際驗證:對上總分,還要對上題號
先對四題進行獨立真實前向計算,耗時0.93秒,峰值內存約1.31GB;保守估算正式流程約119秒,低於600秒和4GiB預算。兩題官方smoke通過後,再執行64題正式核驗。成功運行從第三方導入後計時12.10秒,其中獨立評分4.81秒、官方調用5.81秒;峰值RSS為1310195712字節,未測GPU內存。
最終官方與獨立實現均為32/64,128個候選得分最大絕對差為零;所有標籤、提示哈希、候選邊界和最終題號一致。模型預測61條negative、3條positive,開發標籤則為31條負面、33條正面。總分接近二分類偶然水平,並不自動證明模型只能猜測;這裡還觀察到了明顯的標籤偏向。
四題複核包已經列出真實似然。例如編號400的兩個得分為-3.8741與-4.7651,標籤為positive;評分規則會選擇negative並判錯。編號615則選negative且與金標一致。四題各候選只有一個token,所以求和退化為原分數,適合先核對方向、映射和均值。
**複核狀態(2026-10-08更新):**原計劃要求真人重算四題,實際沒有收到真人結果,官方驗證已先行完成;這一順序偏離保留。純算術檢查改為獨立腳本復算:四題均預測negative,正確數為2/4;完整64題復算為32/64,與官方逐題記錄一致。輸入、腳本哈希與執行結果已歸檔。當前驗收通過,但這不是人工審核,也沒有新增語義金標。
失敗排查:總分正確也可能留下錯證據
第一次64題調用傳入哈希順序的題號列表。該固定版本按數據原始順序篩選題目,卻用調用者列表順序回填日誌的doc_id,於是61條日誌題號與原數據idx不一致。獨立身份斷言讓程序以退出碼一停止。只看50%的總分,會完全漏掉這個問題。
修復僅對傳入題號排序,64題集合和全部候選得分未變;再次運行通過。初次返回、失敗日誌、修復前源碼和身份差異均保留。這是針對該版本的輸入規範化,不是聲稱最新框架仍有同一問題,更不是借調試重新挑測試題。
複核也有層級。重新計算已有得分的均值,只能發現聚合錯誤;重新編碼題幹,才能檢查提示與樣本身份;獨立執行模型前向並逐token取概率,才覆蓋評分路徑。本次分別保存這三層記錄,沒有用最後一個總分替代前面的檢查。即使兩個實現完全一致,它們仍可能共享同一預訓練模型、分詞器或錯誤的任務假設,因此一致性不能證明語義標籤絕對正確。
此外,官方嘗試讀取調用目錄的Git信息時輸出非倉庫提示,流程仍正常返回;本項目用實際固定提交和安裝文件哈希確認來源,不把調用目錄的版本號當成評測器版本。警告、真正失敗和已核驗成功必須分開記錄。
也不要把本次32/64與088的57/64直接解釋為能力下降。權重相同,但提示形式、聊天模板和評分方式同時改變;前者是候選似然選擇,後者是自由生成後解析。差距提出了協議敏感性問題,卻沒有單獨隔離哪一個因素造成差異。
可檢驗的研究問題與總結
**作者推斷:**當前負面偏向可能來自提示形式與候選先驗的共同作用。後續應先固定一套評分規則,再分別改變訓練劃分中的示例選擇和順序,保存同題配對結果;另一個實驗才處理選項文本、字母與歸一化。不能同時改完所有因素,再給單一原因貼標籤。
第三單元的起點因此不是一張新排行榜,而是一份測量說明:數據版本、題號身份、完整提示、候選邊界、計分公式、聚合與失敗都可追蹤。協議審核通過只說明“這些數字按聲明的方法算對了”,不說明模型已有穩定能力,也不恢復反覆使用開發集所失去的確認性證據。
源碼與復現入口
源碼已經公開並完成固定提交核驗:完整目錄、README與運行說明、SOURCE_MAP官方實現地圖。53個分發文件與本地逐字節一致;從公開版本導出的副本也通過真實模型試跑。固定源碼包保留10月7日的待人工審核歷史記錄;10月8日僅調整驗收方式並補充獨立算術核驗,模型、數據、代碼和原結果未改。當前完成狀態不代表真人複核已經發生。
安裝依賴、用prepare.py獲取並校驗資源後,最小真實入口為:
HF_HUB_OFFLINE=1 TOKENIZERS_PARALLELISM=false python run.py --cache ./cache --out smoke-new --private private-new --smoke
該命令評分兩題、四個候選,並保存官方與獨立記錄;去掉--smoke運行同一64條開發樣本。隨後執行python audit.py --cache ./cache --out smoke-new,離線核對身份與算術。當前已經執行四題獨立計算、兩題官方試跑、一次被攔截的完整運行及排序修復後的完整運行,沒有訓練模型或評測保留確認集。
參考資料
檢索日期:2026-10-07。軟件版本、數據與模型精確哈希見源碼資源鎖;論文只支持其對應研究背景。
- Richard Socher等,2013,EMNLP:Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank。
- Alex Wang等,2018初版、ICLR 2019,arXiv v3:GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding。
- Lintang Sutawika等,EleutherAI,2025:lm-eval v0.4.9.2軟件發佈記錄。
- EleutherAI:固定SST-2任務配置。
- EleutherAI:固定Task實現。
- EleutherAI:固定token邊界實現、Hugging Face後端。
- EleutherAI:固定評測入口、指標註冊與聚合。
- HuggingFaceTB:固定模型卡;NYU:固定GLUE數據卡。