封面

  • 日期:2026-10-09
  • 讀者:研究生、科研新人和工程型研究者
  • 範圍:凍結小模型、SST-2的64條開發樣本、五種呈現與計分條件;不是完整基準或未見測試。

摘要:只多答對一題,可能換了六十三個答案

**本次實際驗證:**同一模型以字母計分時,交換選項內容後,正確數從32變為33,看起來幾乎沒變;但映射回正負情感後,63/64題改變了預測。若對答案文本計分,換序只改變1/64題。平均準確率描述答對多少,卻未告訴我們模型是否還在作出相同判斷。

上一篇研究示例選擇與順序,本篇把示例數固定為零,新增問題是:選項的內容、位置、字母與計分字符串,能否被當成同一個答案?我們沿用模型、數據版本和開發題號,新增可審計的置換映射、候選token記錄與逐題差異,不從五種設置中挑一個最高分包裝成改進。

復現價值與論文位置

多項選擇評測常把開放生成變成有限候選比較,便於執行,卻額外引入了表示方式。Pezeshkpour與Hruschka在2024年研究了選項順序對大模型的影響;Wang等同年指出,首token概率與模型實際生成的文本答案可能不一致。[1][2] 這些論文支持研究問題的必要性,不支持把它們報告的幅度搬到本篇小模型上。

**論文報告與本次實驗的區別:**本文沒有復現論文中的完整模型矩陣、自由生成或去偏算法。SST-2原本是二分類情感任務;我們在官方文本候選協議上添加A/B列表,這是刻意構造的測量對照。它能檢驗這個提示下的穩定性,不能代表模型全部閱讀理解能力。[3][4]

核心思想:先區分三種“答案”

原始標籤零表示負面,一表示正面。正序列表為A對應negative、B對應positive;反序則A對應positive、B對應negative。位置字母仍按A、B排列,移動的是內容。若反序後仍把A當成負面,即使模型分數完全正確,評測也會算錯。

令第ii題上下文為xix_i,候選位置jj的答案字符串包含mjm_j個token,則條件對數似然為

sij=∑t=1mjlog⁡pθ(yjt∣xi,yj,<t).s_{ij}=\sum_{t=1}^{m_j}\log p_\theta(y_{jt}\mid x_i,y_{j,<t}).

θ\theta是凍結權重,yjty_{jt}是候選的第tt個token;只累計答案部分,負值越接近零越優。模型不是自由說出答案,而是在我們指定的兩個續寫字符串之間被比較。

z^i=πi(arg⁡max⁡jsij),gi=πi−1(zi).\hat z_i=\pi_i\left(\arg\max_j s_{ij}\right),\qquad g_i=\pi_i^{-1}(z_i).

πi\pi_i把顯示位置映射為原始語義標籤,ziz_i是數據金標籤,gig_i是官方評分所需的正確候選位置。正序映射為零、一,反序為一、零;必須先還原語義預測z^i\hat z_i再做跨條件配對。並列最大值取首項,規則在推理前凍結。

同一列表提示下比較A/B概率,估計的是字母續寫偏好;比較negative/positive概率,估計的是文本續寫偏好。我們沒有另外添加“只回答字母”或“只回答文本”的指令,因此兩組上下文逐題完全相同。這隔離了候選空間的變化,但並不測量輸出格式服從度,也不能斷言兩種受限概率就是自由回答時的選擇。[2]

選項置換與計分審計

圖中顏色表示語義內容,字母表示顯示位置。兩條計分支路先映射標籤,再逐題比較;長度檢查讀取兩路候選,不能拿示意圖中的圖標當成測量結果。

公式之外:長度歸一化的分母是誰

常見的“歸一化”至少有兩個定義:把sijs_{ij}除以實際續寫token數mjm_j,或除以候選字符串字符數ℓj\ell_j。本次固定harness的acc_norm使用後者;前置分隔空格參與分詞,但不計入候選字符數。[5] 名字相同並不保證數學對象相同。

實際分詞中,帶空格的negative、positive、A、B分別對應單個token,編號3524、2731、330、389。兩個情感詞各八個字符,兩個字母各一個字符。因此在每個條件內,兩種分母都相等:三種計分必然保持argmax,實測也逐題一致。這是本設置的代數性質,不是“歸一化永遠無影響”的經驗結論。我們沒有事後換成長短不同的近義詞製造效果,因為那會同時改變答案措辭。

官方代碼閱讀路線

先讀固定提交的SST-2配置,確認題幹、Answer:結尾、negative/positive順序和原始標籤。[4] 接著讀api/model.py的_encode_pair:完整拼接後的分詞未必等於分別編碼再拼接。獨立實現斷言上下文token是完整序列的前綴,超出512長度直接失敗,不允許靜默截斷。

再看Hugging Face後端的_loglikelihood_tokens。若題幹長cc、完整序列長LL,輸入形狀為[1,L−1][1,L-1],logits為[1,L−1,49152][1,L-1,49152];第一個答案token讀取位置c−1c-1的分佈。最後檢查process_results中的標籤、argmax和字符歸一化。[5][6] 本篇直接調用官方似然與任務評分接口,外層循環是自寫教學代碼,沒有聲稱運行完全未改動的默認任務。

六個實際安裝文件已與固定官方源碼逐字節比對,並重新匿名下載核驗。SOURCE_MAP.md列出函數、行號、許可證和本地對應關係,避免讓“官方實現”成為無法追蹤的口號。

最小實驗與評測協議

模型與tokenizer凍結為SmolLM2-135M-Instruct的12fd25f…;完整revision保存在資源鎖中。[7] GLUE數據凍結為bcdcba79…,讀取sst2的train與validation,僅推理既有64條開發題;128條SST-2確認題及64條新聞確認題沒有進入模型。[8] 同一開發集此前已被觀察,本文屬於探索性協議研究。

五個條件為原始文本基線、帶列表文本正反序、帶列表字母正反序。每題每組兩個候選,共640個候選分數;每個都經過獨立前向和官方後端雙路徑計算。主要指標預先定為換序後的語義預測翻轉數及勝負題數,準確率和長度診斷為輔助指標。統計單位仍為64道題,不能把320條條件記錄說成320個獨立樣本。

CPU單精度、四線程、eager注意力、種子96,關閉聊天模板、訓練和推理緩存,不加BOS或EOS。緩存身份保存模型、tokenizer、數據、提示構造代碼、配置與計分協議。四個列表條件的上下文逐題同長,為27至69個token;候選輸入總量各5530,原始基線為4506。列表相對基線多了提示token,不能把這項比較稱為嚴格等計算量。

本次實際驗證:總分掩蓋了什麼

條件 正確數 預測positive數 選第一位置數
原始文本基線 32/64 3 61
列表文本正序 31/64 0 64
列表文本反序 32/64 1 1
列表字母正序 32/64 1 63
列表字母反序 33/64 64 64

文本正反序只翻轉題號170,新增一題正確;字母正反序翻轉63題,其中32題由錯變對、31題由對變錯,淨增同樣只有一題。反序下比較兩個候選空間,也有63題語義預測不同。正序則只有題號287不同。只寫“差一點點”,會漏掉這組最主要的證據。

這張表還有一個容易忽略的背景:開發標籤包含31條負面和33條正面。反序字母全部預測正面,正好得到33題正確;這個數已經能由類別分佈解釋,不能據此稱該設置更會理解情感。相應地,文本正序全部預測負面,也能得到31題正確。報告常量類別基線,能阻止我們把一兩個百分點誤寫成任務能力提升。

候選分數本身也有邊界。某個字符串在兩者中概率較大,不代表模型把大部分概率質量分配給這兩個字符串;其他詞、換行或解釋前綴仍可能更可能出現。尤其不能把文本支路的負對數概率直接與字母支路相減,解釋為“信心提高多少”:兩個續寫空間不同,缺少共同的校準定義。本文只比較各空間內部的選擇和還原後的語義結果,不報告跨空間置信度增益。

題號400提供了一個可復算例子:正序字母A、B得分約為−5.079、−5.904,選擇A並映射為負面;反序得分約−3.946、−4.844,仍選擇A,但映射為正面。原標籤為正面,因此它成為一次收益。題號615同樣保持選A,卻從正確變錯誤。兩例無需編寫模型心理故事,就能說明收益與損失為何相互抵消。

**作者推斷:**字母支路表現出強烈的A或第一位置偏好,文本支路則大多保留負面預測;但A始終處於第一位置,兩者在本實驗中混雜,尚不能區分符號先驗與位置偏好。文本更穩定也不等於更正確:它幾乎總選負面。這是穩定性與能力必須分開報告的反例。

獨立復算覆蓋320條記錄、640候選,官方得分最大差為零;標籤映射、正確數、配對收益損失與形狀檢查全部通過。兩題全條件試跑估算正式運行約280秒,低於1200秒預算;正式流程導入後耗時43.56秒,峰值RSS為1568227328字節,外部命令牆鍾47.12秒。GPU內存未測量,資源數字不包含依賴下載。

失敗排查:先懷疑協議,再解釋模型

第一次試跑把新增標籤字段當作字符串配置,框架把它理解成模板文本,官方指標一致性斷言失敗。改成讀取該字段的函數後,又因任務初始化探測原始樣本而觸發缺字段錯誤。最終直接從原始label計算置換後位置,才同時滿足初始化和正式評分。兩次失敗及修復前源碼均保留,沒有刪除後只報成功。

復現遇到異常,應依次核對句子哈希與題號、原標籤與顯示位置、候選前空格、因果移位、長度上限,再檢查累計與歸一化。獨立腳本沒有導入推理程序;六個變異測試主動破壞標籤、分數、條數、重複記錄、token數和預測,均被拒絕。這是自動算術復算,不是人工審核。OneDrive環境啟動阻塞通過同版本臨時環境重建恢復,模型與數據哈希未變。

源碼與復現入口

配套源碼已公開:固定提交源碼目錄、README與運行說明、SOURCE_MAP源碼地圖。43個文件已匿名下載,逐文件哈希與本地歸檔一致;所有鏈接固定到同一提交。

依README安裝固定依賴並用prepare.py獲取哈希鎖定資源後,最小真實運行命令為:

python run.py --cache ./cache --out ./replay-smoke --smoke

預期產生逐題候選記錄、彙總、環境、階段狀態與身份文件;去掉--smoke執行64題正式範圍。audit.py可離線復算已保存結果。本次真實運行覆蓋五條件的全部開發題,不包含生成、訓練或人工金標。公開包不分發許可未明確的影評原文、題幹token和模型權重,保留固定下載入口、索引與派生分數;本地ZIP用於歸檔驗收。

可檢驗的研究問題與總結

下一步可以凍結其餘設置,讓A/B保持各自語義、僅改變顯示行次序,再與當前交換內容的對照組成因子設計,區分字母身份和物理位置。若偏好跟隨A移動,支持符號解釋;若始終跟隨第一行,支持位置解釋。正式執行前應登記預算,不能看結果後補故事。

另一問題是受限概率與實際生成是否一致。下一篇將轉向答案抽取,並準備真實人員標註的小金標;當前算術審計不能替代語義判斷。這裡得到的可複查結論是:總分僅差一題,仍可能對應六十三次語義翻轉。研究報告應交付這種差異的路徑,而不只交付一個排名數字。

參考資料

檢索並打開日期:2026-10-09;固定源碼另保存匿名下載與哈希核驗記錄。

  1. Pezeshkpour, Pouya; Hruschka, Estevam. 2024. Large Language Models Sensitivity to The Order of Options in Multiple-Choice Questions. Findings of NAACL,會議版。
  2. Wang, Xinpeng等. 2024. “My Answer is C”: First-Token Probabilities Do Not Match Text Answers in Instruction-Tuned Language Models. Findings of ACL,會議版。
  3. Socher, Richard等. 2013. Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank. EMNLP。
  4. EleutherAI. 固定SST-2任務配置,harness 0.4.9.2。
  5. EleutherAI. process_results與字符長度歸一化。
  6. EleutherAI. Hugging Face候選似然後端。
  7. HuggingFaceTB. SmolLM2-135M-Instruct固定模型卡。
  8. NYU. GLUE固定數據卡,sst2配置與數據版本見資源鎖。