
- 日期:2026-10-19
- 讀者:研究生、科研新人和工程型研究者
- 資料截止:2026-10-19;實際檢索近12個月工作,並保留解釋問題所需的經典研究。本文為證據深讀,未執行模型訓練或復現實驗,不聲稱全面覆蓋。
摘要:誰在寫教材,誰在決定對錯?
一個模型出題、作答,再把自己的答案用於訓練,這個閉環看起來已經不需要老師。但生成訓練材料與決定哪些材料值得學習,是兩項不同的工作。老師可能不再逐題寫解法,卻仍以標準答案、評分規範、程序執行結果或開發集的形式參與。
本文的判斷是:自我改進可以減少持續人工標註,也可能改善可遷移的結構能力;是否依賴外部反饋,必須說明所指的是哪一階段、哪一種信息。“自生成數據”“自評分”“從隨機初始化開始”並不是同一強度的主張。STaR、自獎勵模型、Absolute Zero和近期零數據預訓練研究,展示了不同的閉環,並未構成“能自學”與“不能自學”兩個直接對立的陣營。STaR;Self-Rewarding;AZR;Self-Play Pretraining。
先畫出反饋進入系統的位置
這裡的“自我改進”指模型生成或篩選經驗,再通過參數更新改變後續能力;單次對話裡重寫答案屬於另一類問題。驗證器是給候選答案判斷信號的機制,可以是模型,也可以是規則或執行環境。課程是訓練任務的分佈與難度安排,並不特指人工編寫的教材。
不妨把外部依賴拆成四層。起點層包括預訓練權重與種子示範;訓練層包括每輪答案、獎勵和環境觀察;開發層包括選擇超參數、提示詞與停止時機的依據;評測層負責判斷最後是否進步。一個系統可以在訓練層不再請求人類標籤,同時繼續依賴另外幾層。把這四層合併成一句“零外部信息”,會使論文最有價值的貢獻反而難以辨認。

圖:這是本文的閱讀框架,不是任何單篇論文的實測因果圖。實線表示需要追蹤的訓練信息路徑,橙色虛線表示可能存在的開發選擇反饋;各方法不一定使用所有入口。右側留出測試應只接收模型、不反向調參,這是後續實驗的設計要求,不能據此宣稱所讀論文均已滿足。
由此可以提出三種可區分的解釋。第一,重新組織已有能力:模型偶爾能給出好答案,篩選與訓練讓它穩定複用。第二,藉助可執行規則探索新經驗:沒有人逐題給答案,但環境能區分候選後果。第三,適應自己的裁判或開發指標:內部評分變好,獨立任務未必同步改善。三者可以並存;後續實驗的目的,是辨認各自貢獻,而不是僅憑“self”這個前綴選邊。
四種閉環,四種證據邊界
STaR:自己寫過程,答案仍由數據集提供
STaR從預訓練GPT-J及少量推理示範起步。模型生成解題過程,最終答案匹配標準答案才進入訓練集;答錯時,還會給出正確答案作為提示,讓它重新生成過程,訓練時再去掉提示。每輪使用新材料微調原始模型,並非始終在上一輪權重上續訓。原文§3、算法1。
論文在算術、常識問答和數學應用題上報告改善;其主要貢獻是降低逐步推理標註需求。它沒有取消結果監督:只看“過程由模型生成”,會漏掉篩選和答案提示這兩個入口。最終答案正確也不能保證每一步正確;論文的失敗案例保留了這一點。§4、§4.4失敗案例。
這說明,審核一篇自訓練論文時,應把“需要多少人工過程”與“需要多少已知答案”分別記賬。過程監督減少,是實質進步;將它寫成無監督發現,則改變了被實驗檢驗的問題。
自獎勵模型:裁判可以一起進步,但沒有憑空出現
Self-Rewarding以Llama 2 70B為起點,用Open Assistant的人類示範和排序構造種子訓練。隨後,同一模型生成候選回答並按規範評分,用偏好對進行直接偏好優化,即DPO。評價示範是主配方的一部分,論文也檢驗了不加它的變體,因此不能說它是所有自獎勵方法的必要條件。§2—3.1、附錄A.3。
其指令評測與留出人類偏好一致性有所提升,但僅考察一個模型設置下的三輪;部分獎勵評測指標並非逐輪上升,回答長度也增長。作者明確討論了模型裁判及獎勵投機的限制。主實驗的題目生成器還是預先固定的,不能把每個環節都描述為共同演化。§2.2腳註、表4、§6。
更直接的開發層依賴是:訓練檢查點的早停選擇使用Claude 2評估驗證樣本;主實驗題目由固定的Llama 2-Chat生成。因此,“自獎勵”準確描述了候選回答的訓練評分來源,不能擴大為全流程只依靠一個模型。§3.1.3。
本文據此認為,“同一個模型當裁判”不自動使反饋無效:作答與比較候選本來就可能有不同難度。真正缺少的保證是,裁判變得更自信時是否仍校準於目標任務。也不能從三輪改進外推無限遞歸增長。
Absolute Zero:去掉題庫之後,執行環境仍在
AZR讓預訓練模型同時出題和解題,圍繞程序、輸入、輸出構造任務,由Python執行驗證併產生獎勵。課程會偏向模型尚未完全掌握、又有機會成功的任務。這裡省去的是人工整理的後訓練題庫,預訓練能力和可執行語義並未消失。§2—3、算法1。
論文報告了數學和代碼評測改善,但起點模型不同,收益也不同,個別測試項下降;表中其他方法的數據和起點並不統一。它支持特定環境中的自舉訓練,不證明所有任務都能自造可靠答案。程序篩選也有近似:用有限重複執行檢查一致,不能證明對所有輸入都確定。§3.3.3、§4、表1。
從參數模型的邊界看,執行器提供了外部反饋;從包含執行器的整個系統看,它又是內部組件。這不是文字遊戲:前者追問模型能否獨自判斷,後者追問系統能否擺脫逐題人工監督。兩種研究目標都合理,但證據不能混用。
零數據預訓練:沒有自然數據梯度,仍有開發選擇
2026年的Self-Play Pretraining讓生成器與學習器都從隨機初始化開始:前者生成可執行程序,後者預測程序輸出的字節。生成器獎勵依據學習器梯度與歷史參數變化的關係,而不是自然語言正確答案。論文報告自然數據上的預測損失改善;固定程序先驗和專門語法生成基線表現各異,自博弈並非所有領域最佳。§2—3。
關鍵限定藏在§3.1:超參數選擇使用DCLM文本與DNA驗證損失,作者明確披露了這一有限信息洩漏。自然數據沒有參與梯度更新,卻參與了配方選擇。報告的計算前沿還跨模型大小、檢查點和集成數量;它不是單個模型沿一條軌跡永遠進步的證明。§3.1 Scaling recipe。
因此,這項預印本提供了程序結構遷移的有力切口,但預測下一字節與掌握世界事實是不同目標。其討論也保留了這個邊界:具體世界的事實仍須通過與該世界的接觸獲得。§6。
哪些比較可以做,哪些不能做?
| 研究 | 起點與任務 | 可支持的觀察 | 不能據此推出 |
|---|---|---|---|
| STaR | 預訓練模型、有答案的題目 | 自生成過程可用於改進 | 不需要標準答案 |
| Self-Rewarding | 預訓練及人類種子、指令偏好 | 有限輪次的自評分訓練有效 | 自評與事實正確永遠一致 |
| AZR | 預訓練模型、代碼環境 | 自出題可形成有效後訓練經驗 | 無預訓練、無環境也成立 |
| Self-Play Pretraining | 隨機初始化、程序字節預測 | 合成結構可遷移到預測任務 | 整個開發過程沒接觸自然數據 |
這張表歸納前述證據,不能拿來排名。四項研究的指標分別涉及答題準確率、偏好、代碼與數學測試以及字節預測損失;訓練樣本、執行調用、生成長度和集成成本也沒有共同預算。即使全部曲線都上升,也不是四次測量同一種“智能增長”。
對讀者更有用的是區分兩個問題:該配方有沒有用,與收益是否由聲稱的機制造成。前者需要獨立測試;後者還需要匹配起點、訓練量及推理預算,干預某個反饋來源。若去掉驗證器後樣本數驟減,性能下降不能全歸因於標籤質量;若只凍結裁判卻增加候選數,也無法隔離裁判更新的作用。
一個能區分解釋的後續實驗
以下是研究設計建議,尚未執行。可以先選擇有獨立執行判據的小規模任務,在相同起點上固定一份候選池,比較隨機篩選、凍結模型裁判、隨輪更新裁判和執行判據篩選。儘量匹配保留樣本數、難度與訓練token;若不能完全匹配,就分別報告,並增加子集對照。
第一階段使用固定候選池,測試篩選信息的價值;第二階段再允許出題器更新,比較自適應課程與從同一歷史題池重採樣。這樣可以避免把“好裁判”“更多數據”和“更好的課程”混成一個變化。候選池本身也應記錄生成成本,不能只給學習器計算賬單。
評測同時保留原任務、組合方式改變的新任務和容易讓裁判誤判的反例。每輪分別記錄實際執行正確性、自評分和覆蓋範圍,再分析它們何時分離。若只有自評分上升,適應裁判的解釋更可信;若固定候選下獨立正確性改善,則篩選已有成功的解釋得到支持;若新增課程進一步改善未見組合,才有理由追查探索貢獻。這些結果仍不能單獨證明某種內部機制誕生。
超參數與停止規則先在開發任務確定,再凍結到未用於選擇的測試任務。尤其要把“更新權重沒有使用測試樣本”和“研究者沒有通過反覆試驗使用測試反饋”分開記錄。若實際預算不足以完成這一步,應收窄遷移結論,而不是把開發集改名為測試集。
總結:自學的邊界在反饋賬本里
模型能承擔越來越多教材生成、候選篩選和課程安排工作;這些是可檢驗的技術進步。更強的說法則需要更強的證據:不新增人工標籤,不等於不依賴先前人類信息;沒有人工題庫,不等於沒有環境判據;沒有自然數據梯度,不等於沒有自然數據驅動的開發選擇。
讀下一篇“模型自己教自己”的論文時,先沿著生成、判斷、更新和評測追蹤信息來源,再問收益究竟落在哪種能力上。爭議最值得驗證的地方,是哪些反饋可以被替代、哪些依賴仍然決定邊界,而不是把整個系統壓縮成一句“有沒有老師”。
參考資料
- Eric Zelikman、Yuhuai Wu、Jesse Mu、Noah D. Goodman(2022)。STaR: Bootstrapping Reasoning With Reasoning。NeurIPS 2022正式全文。
- Weizhe Yuan等(2024)。Self-Rewarding Language Models。ICML 2024;方法與限制核驗使用arXiv v3,2025-03-28,不將其冒充會議原版。
- Andrew Zhao等(2025)。Absolute Zero: Reinforced Self-play Reasoning with Zero Data。NeurIPS 2025;方法核驗使用arXiv v3,2025-10-16。正式頁面與arXiv作者列表存在差異,分別保存在來源記錄。
- Aditya Cowsik、Kfir Dolev、Michael Y. Li、G. Bruno De Luca、Nourya Cohen、Noah D. Goodman、Yoav Levine(2026)。Self-Play Pretraining with Zero Data。arXiv v1,2026-09-24;本次未核實正式錄用,按預印本引用。