
大模型研究爭議:從論文結論到證據邊界
摘要
組會上有人說,微調後的模型終於做對了一道老題。坐在旁邊的人想看它以前的十份答卷,另一個人想把題幹中的關鍵事實改掉,還有人想把新舊答案匿名交給同一個裁判。三個人都在追問這次進步是否可信,卻可能各自得到一個正確、彼此又不能替代的答案。
這也是回看本系列時最值得保留的分歧。**題目有沒有被解出、答案有沒有用到指定證據、評判者有沒有認出好答案,是三個可以分別出錯的環節。**下面依據四篇一手研究,給每個環節選一個能用小規模對照回答的問題。實驗方案都是提議,文中標明出處的觀察來自論文。
把前面的爭議放回同一張桌上
回看推理、蒸餾和多智能體幾篇,最容易遺漏的是失敗的嘗試。讀者看到的是被選中的漂亮解法,系統可能另外生成了許多答非所問的候選。過程監督和自我反思又多了一層選擇:中間有人指出哪一步錯了,重新作答的人就比第一次多知道一件事。若只能保存一種原始材料,我會留下同一道題的全部嘗試,包括最後沒被選中的回答。它們能讓後來的人區分生成和挑選各貢獻了什麼。
知識衝突、長期記憶和視覺依據幾篇遇到另一種困難。輸入材料與常識恰好一致時,照著材料答和憑記憶猜會得到同一個詞。工具調用成功也留下類似疑問,熟悉的接口名與實際功能一直配對,很難看出模型依賴哪一個。值得留下的是一對題面:保留問題和操作要求,只替換決定正確答案的那條證據。讀者可以指出兩份作答理應從哪裡開始分開。
再看仿真遷移、形式化證明、榜單反轉和科研發現幾篇,評判者接受什麼,本身就決定了能寫多強的結論。證明交給檢查器之後,還有題意是否譯對的問題;科研系統寫出可讀的論文之後,還有產物能否由他人檢驗的問題。三處缺口沒有共同的分數單位。下面只挑同時滿足兩個條件的爭議:研究者能主動改變一件事,而且至少有一種可能結果會讓自己收回原判斷。

每一行是一項獨立的擬議比較。信封代表生成機會,書頁代表給定材料,字母卡代表已凍結的答案。圖中沒有測量值,也沒有預設哪一邊勝出。
例如,圖檢索那篇指出,建圖時還可能補入新的文本信息。若想檢驗邊的作用,就要讓沒有邊的基線也讀到相同材料。規模外推那篇要求把最大的幾次訓練留到擬合之後再揭曉。前者需要配平輸入,後者需要隔離預測目標。這兩種研究都很值得做,但只有答卷、沒有建圖記錄或訓練曲線的讀者,很難補做關鍵對照。這是本篇選擇下面三個問題的取捨。
問題一 再給起點模型幾次機會,它會追回哪些題?
可驗證獎勵強化學習讓模型根據答案核對等反饋更新參數。判斷它帶來了什麼變化,通常要對照接受這次訓練前後的兩個檢查點。一次作答衡量的是把題交給模型就得到正確答案的機會。多次採樣則可以問,給每道題同樣多次機會,只要其中有一次通過就算解出,能覆蓋多少題?這個指標叫 pass@,其中 是每題最多查看的候選數。知道標準答案的評測者能識別命中,真實使用者未必能從這麼多候選裡挑出它。
Yue 等的圖 2 給出了一個具體理由。若干數學基準上,強化學習後的模型在小預算處領先,增加採樣後,起點模型可以趕上並反超。各題集採樣深度並不統一,例如 MATH500 的這一分析每題生成 128 次,AIME24 則生成 1024 次。因此曲線的右端表示研究者實際看到的範圍。某題到這裡仍然零命中,既可能非常難,也可能存在概率極低的正確輸出。兩種情形不能靠再解釋一次零來區分。Yue 等
連曲線是否真的交叉,也需要給出不確定性。Chen Yang 的預印本對相同題目的前後模型做配對推斷,同時考察小預算領先和大預算落後。圖 1 裡,DeepScaleR 與自己的起點比較,單條回答上限從 8k 到 16k 再到 32k 個詞元,可見的交叉和有統計支持的交叉出現在不同設置。詞元是模型生成文本時計費和截斷的單位。圖中同一上限下兩邊被截斷的比例也不同,各設置的每題生成數還有差異。它提醒我們記錄未寫完的答案;這張圖本身不能給每個模型規定合適長度。Chen Yang
**可以怎樣做。**選一對具有明確訓練繼承關係的公開檢查點,凍結題目、提示模板、溫度和判分器,另用開發題調通答案提取。先約定每題固定採樣數和單條長度上限,同時保存實際詞元數。在同一批輸出上分別計算首次命中和預算內至少一次命中,並列出兩邊都中、僅前者中、僅後者中、都沒中的題。最後一組也要出現在表裡,否則難題在報表上憑空消失了。
若後訓練模型首次更穩,而原先看似獨有的成功被起點模型多次追回,這批題支持採樣效率的解釋。若有一批題只在後訓練模型上反覆命中,換一批預先留出的同類題仍如此,就有理由研究有限預算下新增的覆蓋。停止條件是跑完預先分配的題和生成額度。若按題配對估計的差異區間很寬,或兩邊大量答案被截斷,就把結果寫成“這個預算還分不開”。為追求交叉一直加採樣,會讓終點本身也受結果影響。
問題二 把決定答案的那句話改掉,模型會跟著改嗎?
假設檔案寫著展品收藏於甲館,後來一份臨時調撥單寫著“借展至乙館”。問收藏地與問當前展出地,正確答案可以不同。如果只換掉館名,同時把問題裡的“收藏”偷偷改成“展出”,就無法判斷答案改變來自哪條信息。這是假設例子。它說明材料替換最費時間的環節常常是寫題,尤其是確定究竟哪一個詞控制標準答案。
Longpre 等在問答材料中替換實體,考察模型在原來能答對的樣本上,會輸出原答案、替換後的答案,還是別的回答。圖 3 顯示,在見過或更接近訓練樣本的情形中,生成式閱讀器更常保留舊答案。他們的“記憶比率”用原答案次數除以原答案與替換答案的次數之和。“其他”被排除在這個特定比率之外,卻保留在輸出分佈裡。忽略這一點,一個常常答非所問的系統,也可能在兩個命名答案之間顯得非常果斷。Longpre 等
**可以怎樣做。**選有明確出處、能確認答案的短材料,要求模型“只按本段作答”。為每一題寫一個原版、一個替換同類實體的版本,以及一個只改無關細節的對照版。三個版本分別在新會話裡問,記錄無材料時的答案作為參照。再加一個便宜的診斷:把有證據的那句話單獨給它。如果這時能跟著讀對,而放回全文就失敗,可以優先檢查定位與干擾;如果單句也讀錯,全文上的失敗就沒法單獨歸因於檢索。
這裡有兩種截然不同的“成功”。兩份有效材料各自答對,無關改寫又保持原答,支持模型在這類題上使用了指定證據。所有改寫都使答案大幅波動,則連對無關措辭的穩定性都成問題。預先約定同時報告全體題、原版答對的子集,以及拒答和其他回答。若替換引入語法異常、兩個答案都說得通,先標為題面缺陷並報告比例。一輪獨立檢查仍不能確定唯一文本答案,就停用這組題。即使模型完全跟隨虛構材料,也只能證明它執行了閱讀指令,現實事實和跨會話知識更新還需要別的檢驗。
問題三 兩份答卷只換座位,裁判還認得同一份嗎?
Zheng 等在 MT-Bench 首輪問題上用同一個 GPT-3.5 生成兩份相似回答,再讓裁判分別以兩種順序比較。表 2 的默認提示下,GPT-4 的換位一致率為 65.0%。這裡的“一致”要求換過位置後裁決對應同一結果,一直選擇排在前面的回答反而會失敗。作者特意挑了難分的情形,不能把這個數當作所有裁判或所有題目的判對率。他們隨後採用保守辦法,只在兩種順序都支持同一答案時判勝。Zheng 等
**可以怎樣做。**從公開題中選出能獨立判分的一小組,例如要求從文本提取兩個字段。凍結兩份候選,一份完整、一份漏項,儘量匹配長度;另建一組同樣完整而措辭不同的近似平局。封存字段答案,裁判只見題面、答卷與評分要求。除了交換答卷,再做原順序的獨立重複,保持調用次數相等。這個額外對照有用,因為即使什麼都不換,一個隨機裁判也可能改判。每次都把位置還原到答案身份,分別記錄勝負、平局和無法解析。
如果換位翻轉超過原序重複的波動,而且總偏向同一個位置,順序就能解釋一部分裁決變化。如果同一份漏項答案在兩個位置都穩穩獲勝,換位一致性再高也救不了評分標準。先報告能獨立核對的題裡選對了多少,再看近似平局裡有多少被硬分出勝負。實際開展時,在預先約定的重複次數用完後封表;若連明顯漏項都持續判錯,應停止用這個裁判討論細微的風格偏好。兩位答題者從頭到尾沒有再寫一個字,這個實驗定位的是測量環節。
總結 手上的材料決定從哪裡開始
如果手頭只有兩批已經保存的答案,先做第三題最省事。若有權編輯輸入材料,第二題能把“看起來參考了原文”變成一次可反駁的預測。第一題則有更高的入場成本,需要確知模型的訓練起點,還需要按題保留失敗輸出。三者的模型、訓練經歷、題集劃分、計算預算與評分單位都不同,不能把曲線覆蓋率、實體選擇比例和裁判一致率排成能力榜。
我會請準備開題的同學先寫下兩句話:“如果出現哪一種結果,我會放棄現在的解釋?”“如果額度用完仍分不出來,我還可以誠實地說什麼?”能寫出這兩句,就有了值得動手的小問題。實驗即便留下一個寬區間,下一位研究者也能知道究竟要增加題目、修訂材料,還是換一個判分辦法。
參考資料
- Yue 等,NeurIPS 2025。Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?
- Chen Yang,arXiv 預印本 v3,2026-11-03。When Pass@k Crossovers Are Real—and Why: Paired Inference and the Markov Kernel of RLVR
- Longpre 等,EMNLP 2021。Entity-Based Knowledge Conflicts in Question Answering
- Zheng 等,NeurIPS 2023,Datasets and Benchmarks。Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena
作者作品推廣
除了寫技術博客,我也在做一些讓日常更有條理的小工具,歡迎瞭解我獨立開發的兩款 App:
- 日常收支小記:記下收支,也給每一筆錢安排好去處。記錄日常賬目,安排預算與儲蓄目標。在 App Store 瞭解。
- 一事微光:從一件小事開始,讓今天多一點微光。按當下的時間和精力選擇行動,記錄完成後的感受與發現。在 App Store 瞭解。
更多技術文章和個人作品,歡迎來我的網站:zffjzz.top。也歡迎把使用感受告訴我,讓這些小工具慢慢變得更好。