封面

  • 日期:2026-10-10
  • 讀者:研究生、科研新人和工程型研究者
  • 範圍:固定小模型、SST-2 的 64 條既有開發題;預先選定 16 條審核樣本,目前僅有總體審核確認,未提交逐題標籤;未提供可復算的逐題人工金標。

摘要:同一批迴答,為什麼會從零分變成五十分

上一實驗發現,改變選項呈現和計分空間,即使模型不變,也可能改變答案。這次繼續追問:模型已經生成了回答,後處理程序又改變了多少判斷?我們凍結真實模型與輸出提示,只把同一條回答分別交給完整字符串匹配、嚴格格式解析和正則抽取器。實際結果是:完整匹配零題正確,首個情感詞抽取五十題正確。

這不是模型能力提升,也不能直接叫作“找回五十道被誤判的題”。兩個程序可能衡量不同目標;寬鬆抽取也可能把引用、否定或多餘解釋裡的詞當成答案。本文交付可重放的自動部分和預抽樣審核工具。目前僅保留總體審核確認,尚無可供復算的逐題標籤;標題中的“小金標”仍是建設方法,原空表不能包裝成已獲得的逐題語義證據。

一、復現價值:給評分器一個獨立參照

精確匹配,即 exact match,是判斷輸出與參考字符串是否一致的方法。它容易復算,卻依賴參考答案如何書寫。Kamalloo、Dziri、Clarke 與 Rafiei 在 ACL 2023 的論文中,通過對開放域問答輸出進行人工評估,討論了詞面匹配遺漏語義等價答案的問題。這是論文報告;本文不復制其任務、模型或提升幅度,也不把問答結論直接外推到情感分類。論文原文入口

本次研究對象是 SST-2 影評二分類,沿用此前的開發題和原始 SmolLM2-135M-Instruct。任務簡單的好處是可以逐條審計,但“句中出現 positive”仍不等於“回答把影評判成正面”。原數據標籤回答的是影評情感;新增人工標籤回答的是模型輸出表達了什麼。這兩層標註不能相互替代。SST 原論文

我們在既有實驗中已經見過 JSON 格式失敗,因此選擇這個提示具有探索動機。當前樣本不是新盲測,後續也不能因為某個規則得分更高,就把它稱為通過獨立驗證的評分器。

二、核心思想:把字符串、格式和意思分開

令第 ii 題的完整生成文本為 yiy_i,數據集情感標籤為 gig_i,規範 JSON 字符串為 c(gi)c(g_i)。完整匹配定義為:

Ei=1[strip⁡(yi)=c(gi)]E_i=\mathbf{1}[\operatorname{strip}(y_i)=c(g_i)]

這裡 EiE_i 是零或一,指示函數只判斷條件是否成立;strip 去掉兩端空白。規範字符串固定為僅含 sentiment 鍵、冒號後一個空格的 JSON,因此內部排版也影響結果。這個嚴格定義是本地診斷規則,並非宣稱它是所有任務默認使用的精確匹配。

為了避免把排版差異混進格式失敗,我們另做 JSON 解析:整個回答必須是合法對象、只有一個 sentiment 鍵、沒有重複鍵,值為小寫 positive 或 negative。解析成功還要與 gig_i 一致,才算格式與內容聯合正確。代碼圍欄、多餘鍵或自然語言解釋均不滿足本次輸出約定。

第三條路徑令 r(yi)r(y_i) 為正則表達式捕獲的第一個完整情感詞,忽略大小寫;找不到時返回無效值。抽取正確指示量為 Ri=1[r(yi)=gi]R_i=\mathbf{1}[r(y_i)=g_i],標籤在比較前統一為情感名稱。它可能容忍解釋文字,也可能在“not positive”中抓到錯誤詞。這個例子用於說明規則侷限,是教學反例,不是冒稱來自正式樣本。

獲得真人逐題標籤後,才能引入內容判斷 HiH_i,並在可判定、參考標籤無爭議的樣本集合 DD 上計算:

e^=1∣D∣∑i∈D1[Ri≠Hi]\widehat e=\frac{1}{|D|}\sum_{i\in D}\mathbf{1}[R_i\ne H_i]

HiH_i 表示人判斷內容是否正確,∣D∣|D| 是實際可判定且參考無爭議的題數,而不是永遠寫成十六。還要分別報告假陽性,即程序判對而人判錯;假陰性則相反。程序與真人都判錯,也可能抽出了不同答案,因此另外檢查抽取標籤與真人最終立場是否一致。當前未收到逐題 HiH_i,即使已有總體審核確認,誤判率仍保留為空值。

三、官方代碼閱讀路線:兩個“第一個”並不相同

先讀固定版本的 RegexFilter.apply:它對每次生成做正則查找,group_select=0 在本配置中選擇第一次匹配,沒有命中則給出回退值。再讀 TakeFirstFilter.apply:這裡的“第一個”指同一道題的第一條生成,而不是生成文本中的第一個情感詞。我們每題只生成一次,但仍保留官方嵌套列表的輸入輸出約定。官方抽取實現

最後沿 Transformers 的聊天模板與生成函數檢查:系統消息、用戶提示、回答起始標記在哪裡加入,哪些 token 屬於新回答。只對新生成部分評分,避免從問題中抽到 positive 或 negative。五個關鍵文件已從固定提交下載,並與安裝版本逐字節核對;具體函數、行號、許可與本地對應路徑見源碼地圖。我們調用官方過濾器和真實生成庫,但沒有聲稱運行了 harness 標準 SST-2 全量任務。

四、最小實驗:先選人工樣本,再看輸出

實驗流程

圖中的人工分支表示原預註冊工作流;目前沒有逐題人工標籤,虛線不代表已經得到定量人工指標。

模型及 tokenizer 固定在 12fd25f77366fa6b3b4b768ec3050bf629380bac,GLUE 數據固定在 bcdcba79d07bc864c1c254ccfcedcce55bcc9a8c。繼續使用按既有哈希規則選出的 64 條開發題,其中負面 31 條、正面 33 條。128 條 SST-2 和此前 64 條新聞確認樣本均未參與推理。固定模型卡

新增人工子集在本次推理前確定:每類按題號與固定字符串組成的 SHA-256 排序,取八題,再交錯排列。抽樣腳本、樣本名單、影評哈希和時間一起保存,沒有根據生成結果或評分分歧挑題。兩類抽樣率分別為八除以三十一、八除以三十三;若所有樣本都可判定,推回這六十四題時按原類比例加權,不能直接把各佔一半的小集平均值當作原分佈估計。

生成提示覆用先前 JSON 約定,要求只輸出一個 sentiment 鍵。CPU 使用單精度、四線程和貪心解碼,每題最多生成 32 個 token,不訓練、不搜索提示、不增加示例。輸入超過 512 token 會報錯;本次實際範圍為 66–108,沒有截斷。所有評分器共享同一輸出,不會因為換抽取器而多獲得推理預算。

先跑兩題試驗,峰值內存約 1.28 GB,保守估計正式部分約 23.40 秒,低於預設 1200 秒與 4 GiB 上限,再運行全部題目。正式執行導入後耗時 10.37 秒,外部進程牆鍾 14.69 秒,峰值常駐內存 1,280,081,920 字節。首題輸入形狀為 [1,83][1,83],詞表分數形狀為 [1,83,49152][1,83,49152]:三個維度依次是批量、輸入位置和詞表大小。這是本機測量,不是通用性能基準。

五、本次實際驗證:差分成立,解釋尚未成立

固定評分規則 64 題實際計數 目前能支持的結論
規範 JSON 完整匹配 0 題正確 沒有輸出符合完整參考字符串
嚴格 JSON 解析 0 題格式成功,0 題聯合正確 失敗不只是冒號後的空格
官方首個情感詞抽取 50 題正確 標籤抽取與數據集參考相同
真人審核記錄 僅有總體審核確認;逐題標籤未提交 不能計算人工參照誤判率

逐題配對結果是抽取路徑增加五十個正確標記、沒有減少;其餘十四題兩條路徑都計錯。不能把五十除以六十四寫成“抽取器糾錯率”,因為沒有可供讀者復算的逐題語義參照。全部輸出共使用 5250 個輸入 token、生成 422 個 token(含結束標記);六十三題正常結束,一題碰到長度上限。

輸出中有單獨的大寫情感詞,也有解釋句,還有一條帶代碼圍欄並額外生成 rating、outcome 鍵的回答。這些都是實際記錄可核對的字符串現象。目前僅有總體審核確認,未提交這些輸出的逐題立場;文章不把總體確認換算成逐題判斷,也不把作者直覺換名為人工結果。

獨立腳本重新解析全部六十四條記錄,核對輸出哈希、規則結果、正確數、配對題號、token 總量及官方抽取結果,均通過。六個規則邊界樣例和六類證據破壞測試通過;空白人工表也確實被拒絕。這些檢查證明軟件約定可復算,不能證明約定具有語義效度。

六、評測協議與失敗排查:人工表必須允許說“不確定”

審核入口展示影評、數據集參考、完整模型回答和結束原因,隱藏自動抽取標籤與分數。原設計要求逐題填寫最終立場、內容正確性、格式合規、參考標籤爭議及理由,並隨導出文件記錄審核者和時間。所有字段從空白開始。目前只保留總體確認記錄、記錄時間與樣本哈希;逐題審核表仍為空白,不據此推定任何一題的判斷。

立場矛盾、沒有分類結論或引用意義不明時,應選擇不確定,而不是強迫二選一。對數據集參考有疑問要單獨標記,保留原標籤;不能用一次審核悄悄改寫基準。若以後補交逐題標籤,報告應列出剔除數量和理由,只有兩類各八題仍可判定時,才計算預定的加權描述量。小集即使零分歧,也不足以證明評分器在其他提示、模型或領域上可靠。

排查順序從身份開始:先檢查題號、輸出哈希和標籤,再檢查是否誤評分了整段聊天,最後區分無匹配、多次匹配、格式失敗與長度停止。唯一長度停止題保留原結果,不看到失敗後單獨延長解碼。換規則時保留舊結果,不覆蓋能揭示反例的輸出。

七、可檢驗的後續問題

第一,五十個計分差異中,有多少確實屬於“內容正確但格式不合規”?只有完成逐題語義標籤後才能回答。第二,首詞規則是否在否定或多立場回答中出現假陽性?如果預抽樣小集沒有此類回答,結論就是缺乏覆蓋,不能聲稱假設被排除。第三,嚴格解析和寬鬆抽取的差異是否主要集中在長度停止項?目前只有一個這樣的樣本,適合產生假設,不足以支撐因果歸因。

若讀完人工標籤再修改抽取器,這十六題就進入開發用途。新規則需要另取未用於修改的樣本驗證;不能一邊修正,一邊繼續把原小集稱為獨立金標測試。跨模型比較時還要凍結人工指南,否則評分標準變化會偽裝成模型差異。

源碼與復現入口

源碼已公開並固定到提交 6d7cdad04b701a4a8e4cdf698d486a47d738f857:完整源碼目錄、README 與運行說明、SOURCE_MAP 官方源碼地圖。47 個文件經匿名拉取與本地歸檔逐一核對,公開副本的獨立審計、軟件測試和真實兩題試跑通過。包內原協議及執行結果保留當時的待審狀態,總體確認記錄另有說明;未提交逐題標籤,人工定量指標仍為空。

準備 Python 3.12 環境,按 README 安裝固定依賴並獲取哈希鎖定資源後,最小運行命令為:

python run.py --cache ./cache --out ./replay-smoke --smoke
python audit.py ./replay-smoke

預期生成逐題記錄、聚合結果、環境信息、階段狀態及輸入身份文件。本次實際執行兩題試跑和全部六十四題;所有自寫模塊隨包提供。下載緩存可複用,但每次先驗哈希;不分發權重、原始影評、完整提示或含影評的本地審核頁面。公開代碼能在讀者機器重建審核入口。

總結

評分差異首先是測量現象,不是能力提升。本次保存了凍結生成、三個評分定義、逐題差分和預抽樣材料,但仍缺少逐題人工標籤。總體審核確認不能替代可復算的逐題語義證據。自動分歧已經可復算;人工誤判率、假陽性與假陰性仍不報告,這是本篇結論的邊界。

參考資料

檢索與實際訪問日期:2026-10-10。網頁讀取失敗的固定源碼鏈接另經匿名下載核對。

  1. Ehsan Kamalloo、Nouha Dziri、Charles Clarke、Davood Rafiei,2023:Evaluating Open-Domain Question Answering in the Era of Large Language Models,ACL。
  2. Richard Socher 等,2013:Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank,EMNLP。
  3. EleutherAI,0.4.9.2 固定提交:task 配置與過濾器指南。
  4. HuggingFaceTB:SmolLM2-135M-Instruct 固定模型卡。
  5. NYU-MLL:GLUE 固定數據卡。