封面

  • 日期:2026-10-10
  • 讀者:研究生、科研新人和工程型研究者
  • 資料截止:2026-10-10;檢索近12個月工作,同時保留爭議起點。本文為四篇一手研究的證據深讀,未運行模型實驗,不聲稱全面覆蓋。

摘要:多想的價值,要在同一道題上判斷

模型第一次給出了正確答案,隨後又檢查、換解法,最後改成錯誤答案。這與“想了很久才終於做對”都可能出現在長推理裡。只看生成長度,無法知道額外計算屬於哪一種情況。

本文的判斷是:**延長推理可以幫助特定模型解決特定問題,但沒有證據支持長度越長、答案就越可靠;同樣,縮短回答也不自動等於找到了正確的停止時機。**預算干預、軌跡診斷和在線早停研究回答的是不同問題,不能用一條平均曲線相互推翻。s1、軌跡診斷研究、REFRAIN提供了這些不同層次的證據。

這裡新增的問題不是推理方法有哪些,而是:**怎樣區分有用的追加計算、無用的重複,以及會丟失正確答案的繼續生成?**更進一步,研究者事後知道何時該停,是否意味著模型當時也能知道?

“更長”與“過度”,先分清測量對象

思維鏈是模型在最終答案之前生成的中間推理文本;token是模型處理文本的基本單位。本文討論可見推理長度,不把文字數量當成全部內部計算,也不把篇幅長直接判為過度思考。

至少要區分三種長度。預算上限是允許生成多少,實際長度是模型最終用了多少,首次正確前綴長度則是在已有軌跡的若干截斷位置中,最早能誘導出正確答案的位置。前綴就是從開頭保留到某一步的文本。最後一種量需要額外提問、答案抽取和正確性核對,通常屬於事後診斷。前綴協議見Caldarella等§3.1、附錄C.1

“長回答更容易錯”至少有三種解釋。第一,難題既需要更多嘗試,也更難答對,難度同時影響長度和正確率。第二,模型重複檢查已解決的問題,增加成本卻不改變結果。第三,繼續生成引入了新的錯誤。三者可以並存;把不同題目的長短回答分組,無法單獨辨認第三種解釋。

一個假設例子有助於理解:模型短答做對了簡單題,長答做錯了難題,不代表把難題的回答剪短就能做對。相反,如果同一前綴立即作答正確,繼續生成卻作答錯誤,證據就更接近“這次繼續生成不利”。它仍然只涉及給定前綴、續寫方式和答案判定,不能直接解釋內部機制。這個例子是概念說明,不是本次測量。

四項證據,放回各自的實驗條件

延長預算能有收益,但延長方式也在起作用

s1以經過指令訓練的Qwen2.5-32B為起點,再用篩選的推理軌跡進行監督微調。它用budget forcing控制預算:到上限就結束思考,想延長時則阻止結束,並可插入“Wait”。論文在所測數學與科學問答上報告預算擴展收益,也報告繼續擴展後趨於平臺、重複循環和上下文限制。正式版§2–4、§6.2及Limitations

**本篇推斷:**這說明某種“模型加解碼干預”的組合能夠受益於追加計算,並非證明任意長文本都有幫助。插入提示同時改變了後續內容;若要把收益歸因於純粹的長度,還要控制提示與續寫策略。平均分提高也不保證每一道題都獲益。

冗餘可以被壓縮,但訓練短解法不是現場判斷早停

Chen等把一次回答拆成包含明確答案的多輪解法,考察首次正確解法與後續策略重複。其分析涉及QwQ-32B-Preview和DeepSeek-R1,壓縮訓練則以QwQ為平臺。研究從自生成的正確候選中構造較短示例,再做後訓練;保留首次正確解法與適量反思是其中一種方案。arXiv v2 §2–3

這裡的“首次正確”使用了正確性篩選,不能移植成測試時免費可用的停止信號。正文表4也顯示不同壓縮方案存在準確率取捨。**本篇據此區分兩件事:訓練後更善於簡潔作答,與凍結模型在一道新題上知道何時停止,並不是同一個能力。**另外,解法切分與策略聚類藉助模型,冗餘判斷受標註協議影響,不能當作內部計算被逐步證明無用。

答案曾經可恢復,不等於當時已被穩定掌握

Caldarella等的2026年預印本對完整軌跡逐個前綴施加結束提示,讓模型作答,再用抽取器核對。他們在視覺語言任務為主、並補充純語言任務的設置中,區分“曾正確且最終仍正確”與“曾正確但最終錯誤”,報告後一類確實存在。§2、§3及附錄C

論文的Optimal Length藉助標準答案選擇首次正確位置,是一種oracle診斷,即擁有運行時不可得信息的理想選擇器。**它測量的是特定協議下的可挽回空間,不是已經實現的早停增益。**一次強制作答命中,還不足以證明模型已形成穩定解法;多次前綴探測也可能增加碰到正確答案的機會。論文附錄D明確承認標準答案依賴和探測成本,本文進一步建議檢查重複續寫的穩定性。

在線信號有實際價值,仍不能替代正確性證明

REFRAIN是一種無需再訓練模型的停止方法:已有暫定答案、出現反思信號且新步驟與歷史足夠相似時,觸發停止;控制器根據答案似然與長度懲罰調整相似度閾值。似然是模型給輸出分配的概率信號,並不等於答案真實正確。正式版§3

表1中,Qwen3-8B在MATH-500上的準確率由91.40%降至91.20%,整套題的總生成量由2.64M降至1.61M token;其他設置也有收益與退步。論文證明的是所測協議中的效率—準確率折中,不能改寫為所有任務零損失。其侷限還包括需要讀取並干預中間軌跡。表1、§4.3及Limitations

看似相反的結果,為什麼不必相互否定

證據 改變了什麼 主要觀察對象 不能直接證明什麼
s1 固定訓練後模型的預算與續寫干預 不同預算下的最終正確率 每道題越長越好
Chen等 正確候選篩選、壓縮與後訓練 生成量、最終表現、解法冗餘 凍結模型能在線認出正確停止點
Caldarella等 前綴強制作答與事後正確性選擇 正確性沿軌跡的變化 無標準答案也能獲得oracle收益
REFRAIN 凍結模型上的在線停止控制 最終正確率與總生成量 高似然或語義重複就是正確

這張表比較問題定義,不排列跨論文分數。模型起點不同,教師軌跡與後訓練預算不同,測試題和答案抽取協議不同;“解法輪數”“按換行切分的步驟”“token”也不是同一個單位。即使兩個研究都寫MATH,版本、子集與生成限制仍須核對。以上條件分別來自四篇原文的方法與評測章節。

尤其不能把“減少冗餘”和“減少最終錯誤”混成一個指標。Caldarella等表2中的早停基線按連續若干步答案不變而停止,縮短了軌跡,卻未改善其有害過度思考指標。這與REFRAIN的正面折中結果不構成直接衝突:兩者的停止信號、模型和評測均不同,前者也沒有在同一協議下檢驗後者。§3.2及表2

**本篇的綜合結論是:額外計算的邊際價值可能隨題目和當前狀態改變,但實際停止器必須承擔判斷錯誤的代價。**停止太晚會浪費或改錯,停止太早可能截斷糾錯。準確率相同的兩種策略,也可能在不同題目上互有得失。

更有區分力的下一步實驗

停止決策的證據框架

圖為本文提出的實驗框架,不是論文數據或已證實的因果機制。上排從同一前綴比較“立即作答”和“繼續生成”;每對符號左邊代表前者、右邊代表後者。四種組合僅表示可能結果,無頻率含義。下排檢驗在線信號能否形成可遷移策略;右側oracle只用於事後參照,不向停止器提供測試答案。箭頭表示實驗流程,待檢驗的是策略對結果的作用。

以下設計均未執行,也不需要先開展大規模訓練。首先固定模型、題目與公共前綴,在預先規定的位置分出兩條續寫路徑,一條結束思考並作答,另一條追加相同預算再作答。對每個前綴重複採樣,分別記錄錯轉對、對轉錯以及不變,而不是隻展示總準確率。若單次早答正確、重複時很不穩定,就應收窄“已經解決”的說法。

其次,停止器只能看實際可獲得的前綴、輸出概率或重複信號;標準答案留給評測器。候選信號、閾值與允許損失應在開發題上確定,然後凍結規則到另一個未用於選擇的題集。若採用持續更新的在線控制器,則預先固定更新規則、無標籤反饋和題目順序,並重復不同順序,不能看到測試分數後再挑最好的軌跡。這能區分“信號可以遷移”與“在選擇集上調得很好”。

最後比較等總預算策略。既報生成token,也計入前綴探測、編碼器、驗證器與重複作答成本;節省下來的預算若用於額外採樣,應作為另一種完整策略重新評估。按預先定義的任務類別或獨立難度依據分組,避免直接用本次回答長度給難度命名,形成循環解釋。

答案判定也要固定:換一種結束提示或抽取器時,所謂首次正確位置是否大幅變化?如果變化很大,測到的可能部分是誘導與抽取效果。若換一種任務後重覆信號經常誤停,則支持“信號依賴分佈”的解釋。模型生成得更短只是過程觀察;在未參與選規則的題上,準確率、錯誤方向和完整成本共同改善,才是更強的策略證據。

總結:值得學習的是停止決策,而非短答案偏好

現有證據允許同時接受兩點:追加推理能帶來收益,追加推理也可能冗餘或有害。真正未決的部分是,哪些在線可見信號能可靠地區分這幾種情況,以及它們能跨多大範圍的模型與任務遷移。

讀下一篇“推理縮短但性能保持”的論文時,應追問它如何選出停止點、誰知道答案、成本算到哪裡,以及平均分背後哪些題被救回、哪些題被過早放棄。這樣才是在評估停止能力,而不是把長短本身當作能力。

參考資料

  1. Niklas Muennighoff等,2025,s1: Simple test-time scaling。EMNLP 2025正式論文;本文閱讀正式版方法、結果與侷限。會議頁面|全文
  2. Xingyu Chen等,2025,Do NOT Think That Much for 2+3=? On the Overthinking of Long Reasoning Models。ICML 2025正式收錄;本文實驗細節據可訪問的arXiv v2(2025-02-01)核驗,其題名使用“o1-Like LLMs”,初稿為2024年。正式PDF訪問失敗,未將兩個版本視為逐字一致。會議頁面|所讀v2全文
  3. Simone Caldarella等,2026,Thinking Past the Answer: Evaluating Harmful Overthinking in Large Reasoning Models。arXiv v1,2026-06-01;本次未確認正式錄用,按預印本引用。版本頁面|全文
  4. Renliang Sun等,2026,Stop When Enough: Adaptive Early-Stopping for Chain-of-Thought Reasoning。ACL 2026正式論文,方法名REFRAIN。會議頁面|全文