
封面為 AI 生成的概念示意,不是論文原圖、真實裝置或實驗結果。
- 解讀日期:2026-10-25
- 資料截止:2026-10-25 20:29:31(北京時間)
北京時間 10 月 23 日凌晨,南加州大學 Mahdi Salmani 等研究者提交了 PKTP 推理剪枝預印本:讓模型先展開一批解題路徑,再決定哪些值得繼續計算。它把選擇目標放在整組候選至少成功一次的機會,而不是單條路徑看起來有多好。這篇近期論文值得讀,因為它將“多想幾遍”推進到一個更具體的問題:有限算力應該留給怎樣的一組思路?論文及提交記錄
從挑選優等生,到選擇互補的解題組
先看兩條已有研究路線。一條用“探針”讀取模型內部狀態,預測中間答案是否正確;探針可以理解為附加的小型判別器,並不等於模型用自然語言表達的自信。另一條根據內部表示的差異,鼓勵探索更多樣的路徑。兩者分別提供質量信號與多樣性信號。探針研究摘要、RepExp 作者機構介紹
可以用一個假想例子理解其中的區別。四份解答雖然措辭不同,卻都誤用了同一個定理;第五份文字沒那麼流暢,卻繞開了這個錯誤。只按單份質量排序,可能把前四份全部留下。反過來,只追求差異,又可能選中離題的解答。這個例子不是論文數據,只說明:一組答案的價值,不能簡單相加。
PKTP 嘗試聯合估計路徑的成敗,利用內部表示刻畫關聯,再逐個選擇候選。實際優化的是便於計算的近似目標,因此不能把“直接優化”的標題理解成已經準確知道真實成功概率,或總能找到全局最佳組合。方法部分
這次實驗回答了多大的問題?
論文在八個開放權重推理模型上進行數學評測。主要設置是從 128 條路徑中,依據前 4000 個 token 選擇 1、2、4、8 或 16 條繼續。作者報告,相對只按質量或只按多樣性選擇的基線,優勢在中等保留數量時較明顯。實驗部分
這裡尤其要注意分母:研究按模型篩除了 128 次嘗試中全對或全錯的題,使用八折交叉驗證;答案等價性由 Qwen3-32B 判定。結果因此針對篩選後的問題集合,並非完整原始題庫的總體正確率。數據與驗證口徑
我的判斷是,這樣的篩選適合觀察“有得選時怎樣選”,卻留下了另一個問題:實際任務裡,有多少題根本生成不出正確候選?如果失敗主要發生在這一步,再精細的選擇器也無法憑空補上答案。未來報告若同時展示全量題目與篩選子集,研究者就更容易判斷收益來自哪個環節。
同理,交叉驗證讓選擇器在未用於其訓練的題目上接受檢查,但不能據此排除基礎模型預訓練階段見過相關題目的可能。兩種訓練過程對應兩種不同的證據邊界。
集合中有正確答案,和交付正確答案仍有距離
pass@k 在這裡衡量保留下來的 k 條路徑中,至少一條最終正確的機會。對研究者來說,它反映候選集合的覆蓋能力;對真正要得到一份答案的人來說,還缺少最後的選擇步驟。
較早的 Self-Consistency 研究就把“採樣多條思路”與“彙總為答案”連接起來,通過路徑之間的一致性選擇結果。但一致性也不能在邏輯上保證真實正確:若多條路徑共享同一錯誤,多數意見仍可能錯。原始論文摘要
因此,後續檢驗可以同時報告兩個結果:集合裡是否存在正確解,以及系統最終交出的解是否正確。如果前者提高、後者沒有改善,就應繼續研究驗證或彙總環節,而不能直接宣佈端到端能力已經提升。對於科研問題,這一點更關鍵,因為許多任務沒有一份現成標準答案供系統隨時查驗。
少繼續幾條,不自動等於總成本更低
剪掉路徑確實可以減少後續生成,但選擇之前的工作也要付費。生成所有前綴、讀取內部狀態、訓練和運行選擇器,都是完整計算流程的一部分。公平比較需要明確對手:是把全部候選都算完,還是從一開始就只生成少數完整解答?兩者的成本基線不同。
本文更希望看到一條完整的成本—成功率曲線:固定總生成量或實際計算預算,再比較隨機採樣、質量排序、多樣性選擇和聯合選擇。若增加前綴長度使選擇更準確,也應同步展示增加了多少開銷,而不是隻保留成功率上升的一面。
這也是科研復現中值得提前約定的細節。GPU 時間、峰值顯存和等待時間未必同步下降;隱藏狀態能否高效取得,也會影響方法在不同推理系統中的適用性。這裡提出的是後續評價要求,本文沒有實測節省比例。
接下來應當等待什麼證據?
這篇工作的可取之處,是把“挑最好的一條”改寫為“保留一組能互相補足的機會”。不過,當前依據仍是作者預印本中的數學實驗,本次檢索未找到針對 PKTP 的獨立復現或明確的作者代碼入口,不能寫成已獲廣泛驗證。當前論文入口
值得追蹤的信號包括:公開實現與逐題結果、不同領域的遷移、對答案判定的人工抽查,以及計入全部開銷後的比較。如果這些證據能夠延續收益,聯合選擇才更有理由成為可靠的推理預算分配方法。眼下更穩妥的結論是:我們獲得了一個具體、可檢驗的選擇原則,而不是“讓模型少想就一定更聰明”的通用訣竅。
參考資料與閱讀範圍
- Salmani 等:Direct Pass@k Optimization for Thought Pruning,v1 提交於 2026-10-22 17:59:48 UTC,即北京時間 10-23 01:59:48。已讀摘要與提交記錄;按預印本介紹,未核實同行評審接收,實驗發生日期未知。
- PKTP v1 HTML 正文,已讀引言、方法、實驗與結論,並核對附錄 F 表示定義;未逐項複核附錄證明或運行實驗。與上一入口屬於同一研究,不能算獨立驗證。
- Zhang 等:Reasoning Models Know When They're Right,2025-04-07 首發。已讀摘要與提交記錄,僅用於解釋探針路線,不引用其節省比例。
- Microsoft Research:Representation-Based Exploration for Language Models,機構頁標註 October 2025、ICLR 2026,具體發佈日未知。已讀作者機構摘要,作為多樣性路線背景,不是 PKTP 的外部復現。
- Wang 等:Self-Consistency Improves Chain of Thought Reasoning in Language Models,2022-03-21 首發,所讀頁面為 2023-03-07 修訂的 v4,標註 ICLR 2023。已讀摘要與版本記錄,僅用於區分採樣和答案彙總。
作者作品推廣
以下是作者自有產品推廣。除了寫技術博客,我也獨立開發了兩款幫助整理日常生活的 App,歡迎瞭解:
- 日常收支小記:記錄日常收支,安排預算與儲蓄目標,讓每筆賬目和計劃更清楚。在 App Store 瞭解。
- 一事微光:根據當下的時間、精力選擇小行動,記錄完成後的感受,給日常復盤留下一點線索。在 App Store 瞭解。
更多技術文章與個人作品,歡迎訪問我的網站:zffjzz.top。也歡迎分享使用感受,幫助這些小工具逐步改進。