
資料截止:2026-11-06。本文深讀三項一手研究,未運行模型實驗。
摘要|先看兩張榜單在數什麼
假如你給一批助手批改作業,上午按專家記錄判定任務成功,下午把同一批作業交給自動裁判。上午排第一的系統,下午落到第二。學生沒有重新答題,你還會把換榜首寫成“學生退步了”嗎?在 Huang 對公開智能體軌跡的分析裡,這個問題有一個具體答案。專家標籤選出 Claude,GPT-4o-mini 裁判的標籤選出 GPT-4o。與此同時,作者調整所比較的任務範圍和各類任務的權重,幾個系統的成功率都降低,名次卻保持原序。Huang,第 V-C 節
兩張榜單可以各自算對,也可以各自回答一個有價值的問題。分歧發生在哪裡,取決於能否沿著同一道題追過去:模型看到什麼,交了什麼答案,誰判它正確,這道題在總分裡佔多大分量。下文選取選擇題、跨任務彙總和智能體日誌三種材料。它們分別讓我們觀察答題過程、彙總規則和標籤來源,其中只有一部分變化可以用已經保存的答案重新檢驗。
選擇題裡的反轉發生在交卷之前
Alzahrani 等人研究的 MMLU 是一套跨學科選擇題。看論文表 2 的兩行就夠了:在不給示例的條件下,Yi-6b 和 Mistral-7b 的默認準確率分別為 61.12% 和 59.56%。研究者把每道題的正確選項都移到 C,兩者的準確率變成 58.59% 和 63.84%。同一對模型,默認設置下前者領先,固定到 C 後後者領先。題目考的知識點可以原樣保留,輸入中的位置和答案字母卻同時變了。這裡有重新向模型出題的過程,不能靠修改成績表復現這次干預。Alzahrani 等,表 2、第 3.1 節
為什麼強調“同時”?設想模型偏好某個字母,即使正確內容它原本會選,也可能被換位後的標記吸引。另一種可能是它更常選序列中某一位置。把所有正確答案都放到 C,這兩種解釋會做出相似預測。作者另做了打亂符號與選項的實驗,指出只把文字和標記一起搬動,仍難拆開位置偏好與符號偏好;圖 6 的進一步探查又只覆蓋三個學科。表 2 足以舉出名次翻轉的實例,要說其中某個模型“丟了知識”,還缺少獨立測量。Alzahrani 等,第 5.2 節、圖 5–6
這個例子也不能倒過來讀成“改提示一定會換榜首”。同一論文把示例換成其他學科的例子,或調整指令結尾,看到的排序變化就小得多。固定所有正確答案的位置,適合放大某一種敏感性;自然試卷上的位置分佈不必如此極端。若實際目標是在通常編排下答題,這項結果提醒我們報告編排方式。若實際目標是在多種編排下都能答對,那麼換位後暴露的弱點本身就屬於要測的能力。Alzahrani 等,第 5.4 節
分數已經固定,怎樣彙總仍然是研究問題
把一張成績單橫過來看,每行代表一道任務或一個學科,每列代表一個模型。每格都填好後,研究者仍需決定怎樣讀這張表。每題同權,題多的學科影響大;先在學科內取平均,再讓每個學科同權,小學科的影響就會增大。兩種加權分別對應“從題庫隨機抽題”和“先隨機選學科,再在其中抽題”。如果你想了解學生跨科應答的表現,題目的收集成本無意中造成的數量差異,就不該悄悄替你決定研究目標。
可以用一個假設情形辨認權重的作用:甲在文字題上領先,乙在圖形題上領先。逐漸增加圖形題的份額,乙可能反超。反過來,若甲在每一類都領先,且兩邊對各類使用同一組非負權重,加權平均就不能讓乙反超。遇到後一種報告,值得回去檢查是否各模型漏跑了不同的題、分母是否相同,以及算的是平均分還是按名次投票。這條推論只用到了加權平均的定義,不需要對甲、乙的內部機制作任何假設。
Gordienko 等人的預印本給出了另一種看成績表的辦法。研究者用真實榜單的任務分數作為起點,提出一個刻意有利於追趕者的假設:被選中的任務一律讓目標模型得到滿分。接著問,對每個目標模型,至少需要改變多少個任務,才有機會排到榜首?在 BIG-Bench Hard 的 24 項任務、4507 個模型條目上,這個最少任務數在模型間的中位數,用算術平均彙總時是 13,用平均勝率時是 22。平均勝率關注一個模型在各任務上勝過其他參評者的情況,兩種規則給局部提分的回報不同。Gordienko 等,第 4–5 節
這裡有兩個容易混用的動作。前面的學科加權保持各格成績;這篇論文為了測規則對局部提分的敏感性,主動改動部分格子,然後比較不同彙總規則。作者沒有真的訓練這些模型,更沒有證明某個榜單上的參賽者見過測試題。一個規則較難被這種方式推到榜首,仍可能與讀者關心的能力相距甚遠。尤其當讀者關心低頻任務上的嚴重錯誤時,勝過多少個競爭者,並不能告訴他錯誤的代價。Gordienko 等,第 5–6 節
讓兩位裁判讀同一份軌跡
回到開頭的研究。智能體的一次“答卷”是一串操作,同一個基礎模型也可能搭配不同工具、提示和重試策略。Huang 分析的 AgentRewardBench 記錄包含四種配置和去重後的 1302 條軌跡。Llama 缺少 VisualWebArena 的觀察。如果把空格填成失敗,就會懲罰未參加的項目;若各自只對跑過的項目取平均,幾個系統又在回答不同的試卷。作者選擇共同覆蓋的三個基準,讓它們在彙總時同權。此時所有配置的分數都下降,而排序保持。這支持的是一個收窄後的比較,Llama 在缺失項目上會怎樣仍是開放問題。Huang,第 V-C 節、圖 3
同一節中的裁判替換更有辨別力。專家記錄與自動判定可以配到同一份操作上,軌跡保持原狀,排名仍可能隨成功標籤改變。這裡可以追問每個分歧案例:動作完成了,但環境檢查沒有捕捉到嗎?回答看起來完整,操作卻沒成功嗎?前者會造成漏判,後者會造成誤判。區分它們需要回看任務和軌跡,單憑裁判名稱無法判定誰錯。專家標籤在這項研究中是比較標準;推廣到新的環境,還要說明在那裡怎樣核實任務的真實結局。Huang,第 V-C 節
還有一種容易被標題吞掉的結果:兩份報告都排出了先後,但資料尚不足以區分兩個系統。Huang 在 SWE-bench 原始榜單前十名內部取出 45 對提交,按倉庫等權比較,用兩個百分點作為實際有意義的差距。在逐對的不確定性規則下,5 對穩定,1 對對目標敏感,39 對證據不足。這個判斷限定在已選中的前十名和作者設定的門檻。證據不足的兩項可能有差別;要宣稱它們足夠接近,還得讓差距的合理範圍整個落在預先定義的等效區間內。Huang,第 V-B 節、圖 2
哪些變化可以放在一起解釋?
| 研究中的操作 | 保留了什麼 | 可以據此判斷什麼 |
|---|---|---|
| MMLU 移動正確選項 | 同一批題的知識內容與受測模型 | 比較方向對呈現協議敏感,無法單獨定位知識變化 |
| BIG-Bench Hard 模擬局部滿分 | 同一份起始成績表與候選模型集合 | 彙總規則改變衝到榜首所需的任務數,未測真實訓練成本 |
| AgentRewardBench 更換成功標籤 | 已有軌跡 | 裁判選擇可改變點估計的榜首,仍需核查標籤誤差 |
三項工作沒有共同的模型起點、訓練過程、數據劃分或推理預算。第一項用當時的模型實際作答,第二項取榜單已有分數作反事實修改,第三項重讀已發佈的系統運行記錄。城市知識題的準確率、模擬登頂的任務數、工具操作的成功率沒有共同單位。論文間真正能對照的是干預的位置。先畫清楚哪裡發生變化,再判斷哪幾種解釋仍與觀察相容,這比把三個數字排成一列更能幫助下一次研究選對照組。
一項能區分解釋的小實驗

圖中兩條分支是建議的獨立復算,箭頭表示分析順序。圖中沒有論文的測量結果。
先選一對有明確版本的公開模型,只研究一種能力,例如在多個學科里正確選擇給定選項。用未參與規則選擇的公開評測題,按學科保留題號、答案文本、選項順序、原始輸出和解析結果。兩邊使用相同的提示、示例數、生成上限和嘗試次數。還要預先說明研究的是基礎模型,還是含答案解析器的完整系統。若只拿得到完整系統的日誌,結論就以系統為單位;一個解析器更能容忍額外說明,已經足以改變一部分“答錯”的記錄。
第一輪只操作已保存的答案。固定同一份逐題判分,讓每題同權和每科同權各算一次,觀察兩模型的差距怎樣隨任務構成變化。再固定任務權重,對同一回答比較嚴格字母匹配與事先定義的答案抽取規則。對含多個衝突答案的輸出應保留歧義,不要在看到榜首後替其中一個模型挑有利的解釋。如果差距僅在重加權時翻轉,可以逐科列出拉動總分的方向;如果僅在判分時翻轉,可以直接展示哪些原始答案改變了標籤。這兩項診斷都無須再次調用模型。
第二輪才改變輸入。按預先生成的置換移動各題選項,並同步移動正確答案標記,兩邊模型都重新作答。記錄同一題、同一模型在換位前後是否仍選擇同一段文字,同時檢查順序偏好與字母偏好。把這輪與重判舊答案分開,讀者就能辨別“模型交了另一份答卷”和“裁判對舊答卷作出另一種判決”。要研究版本升級,再增加新舊檢查點,在每個版本上完整交叉運行相同協議。否則,版本和出題方式一同更換,差異便無法歸給其中任何一個。
最後把差距連同不確定範圍一起交付。多個排列來自同一道題,抽樣應以原題為單位,把兩個模型的回答和對應排列一起保留;否則重複變體會顯得像許多獨立證據。事先寫下多大的差距才值得區分,以及哪些任務分佈屬於研究目標。若在所有預定設置下差距都同向且超過門檻,便有理由報告該範圍內的穩健領先;若不同目標下的差距可靠地反向,應分別命名目標。若區間仍同時容許兩種有意義的方向,就把研究停在“暫不能決定”,並點明下一批獨立題應從哪些學科補充。
總結
讀榜單時,可以先補全一句話:“在這些題目、這套作答條件和這個判分規則下,甲相對乙領先多少?”只要原始答卷還在,權重和判分造成的差異就有機會逐題追查。若輸入或模型版本也變了,就需要重新配對運行。兩張榜單選出不同贏家並不稀奇;值得解釋的是,哪一步足以讓比較方向改變,以及換一個仍有意義的目標後,現有證據還能支持多強的結論。
參考資料
- Alzahrani 等(2024),When Benchmarks are Targets: Revealing the Sensitivity of Large Language Model Leaderboards,ACL 長文。
- Gordienko 等(2026),How Hard is it to Rig a Benchmark? A Social Choice Analysis of Leaderboard Robustness,arXiv v1 預印本。
- Huang(2026),What Does an LLM-Agent Leaderboard Rank Actually Compare?,DSAA 短文,本文依據 arXiv v1。
作者作品推廣
除了寫技術博客,我也在做一些讓日常更有條理的小工具,歡迎瞭解我獨立開發的兩款 App:
- 日常收支小記:記下收支,也給每一筆錢安排好去處。記錄日常賬目,安排預算與儲蓄目標。在 App Store 瞭解。
- 一事微光:從一件小事開始,讓今天多一點微光。按當下的時間和精力選擇行動,記錄完成後的感受與發現。在 App Store 瞭解。
更多技術文章和個人作品,歡迎來我的網站:zffjzz.top。也歡迎把使用感受告訴我,讓這些小工具慢慢變得更好。