
封面為 AI 生成的概念插畫,不是論文架構、真實裝置或實驗結果。
解讀日期:2026-11-03
資料截止:2026-11-03 20:34:19(北京時間,Asia/Shanghai)
北京時間今天凌晨 02:56,卡內基梅隆大學 Catherine Li、Jingchu Gai 等研究者向 arXiv 提交了比較 Muon 與 AdamW 的論文版本。團隊報告:隨著預訓練數據增加,兩種優化器在微調後的優劣可能反轉。這項工作值得讀,因為研究者最終需要的往往不是訓練結束時分數最好看的模型,而是能夠繼續學習、又不過度丟失已有能力的模型。論文及提交記錄
新的是論文版本,問題已有公開討論
先把時間說清楚:arXiv 的提交時間是 11 月 2 日 18:56:43 UTC。MOSS 研討會官網已將相關題目列入 10 月 9 日議程,題名中的兩種優化器順序與當前版本不同。因此,本文解讀近期 arXiv 版本,不將研究結論描述為今天首次公開;實驗實際發生日期也不能從提交時間推斷。研討會議程
本次打開關聯 OpenReview 頁面時遇到瀏覽器驗證,未讀到評審記錄。研討會報告與完整版本經過怎樣的評審,不宜混為一談。以下實驗結果均歸屬於作者報告,本文沒有運行復現。
這種時間區分也影響新聞判斷:值得追蹤的未必是某個方法突然“翻車”,而是公開材料是否讓我們有機會重新審視原來過於簡化的選型標準。
優化器改變了什麼?
優化器可以理解為訓練時調整模型參數的規則。AdamW 的原始工作將權重衰減與依據損失進行的更新分開;這提醒我們,即使看似細小的更新規則,也可能改變最終模型的泛化表現。AdamW 原始論文
Muon 則對隱藏層矩陣的更新作近似正交化處理。直觀上,它重新組織不同更新方向的相對作用,而非只把所有步長一起放大。作者最初介紹中將強化較弱方向作為解釋猜想,不能當成所有場景下已證實的原因。Muon 作者說明
還有一個容易被名稱掩蓋的細節:Muon 的官方實現建議,嵌入、輸出頭等其他參數仍使用 AdamW。因此,“Muon 對比 AdamW”不一定是每個參數都用了兩套完全不同的算法。讀比較實驗時,應先明確哪些參數發生了變化,再討論勝負。官方實現說明
把學習成績和遺忘代價放在一起
新論文考察約三千萬至六億參數的 OLMo 風格模型,在四個數據集上微調,並比較新任務損失與預訓練數據上的損失。作者報告,小數據預算下 Muon 更有利,預算增大後 AdamW 可以取得更好的學習與遺忘權衡;這種變化並不要求 Muon 先失去預訓練損失優勢。實驗設置與結果
可以用一個假想例子理解這種比較:兩名學生學完專業課程,一名專業成績更高,卻把基礎課忘得更多;另一名專業成績略低,但基礎知識保存得較好。只看專業成績,無法回答誰更適合繼續承擔不同任務。這個例子只是解釋評價目標,並非論文中的實際數據。
對模型也是如此。把學習率調大,可能更快適應新材料,同時更明顯地改變舊行為。合理的比較應允許雙方調整學習強度,再觀察相同適應水平下保留了多少原有表現。否則,一個看似漂亮的“提升”,可能只是選中了更激進的訓練點。
證據支持到哪裡?
論文還用線性聯想記憶研究輸出受擾動時的穩定性,但其單步理論比較使用的是梯度下降與理想化 Muon,不能直接視為真實語言模型中 AdamW 全過程的定理。理論設置
這裡有兩道需要保留的邊界。首先,預訓練數據損失是評價指標,不是對模型全部知識的逐項盤點;損失更低也不自動等於回答更可靠。其次,在一個規模範圍內觀察到的趨勢,還需要更大模型和其他任務檢驗。尤其當部署要求是長文本推理、代碼修改或多輪交互時,不能用一個代理指標代替完整能力評價。
本次檢索未找到可確認的獨立復現。前述論文摘要與全文屬於同一項研究;Muon 官方倉庫提供背景算法,也不是這篇比較實驗的獨立驗證。讀者應把當前結論當作有實驗支持的研究信號,繼續等待外部檢查。
科研讀者接下來該看什麼?
本文的判斷是,這項研究最有價值的啟發,是把優化器選擇的終點向後移動:如果模型未來一定要微調,就應把微調後的適應與保留表現納入預訓練決策。
下一步值得觀察三件具體事情:獨立團隊能否在固定數據和調參預算下重現反轉;換成不同領域任務後,優勢交叉的位置是否穩定;把訓練時間、調參開銷與最終任務質量一起計算後,實際選擇是否仍然相同。這些都是待檢驗問題,不是本文替作者補上的結果。還應公開失敗的配置和選擇規則:如果只展示各自最好的檢查點,卻沒有交代尋找它們花了多少嘗試,讀者仍然難以判斷優勢能否在有限預算下穩定獲得。
小規模研究的價值,在於能把變量拆開檢查;它的外推力度,則取決於後續證據。現階段無需給兩種優化器排一個永久名次。更有用的行動,是在自己的評測表裡增加一列:學會新任務之後,哪些原有能力仍被保留?
參考資料
- Li 等:論文摘要與 arXiv 提交記錄
- 論文 v1:實驗設置、結果及理論分析
- MOSS@COLM2026 官方議程
- Keller Jordan:Muon 的設計說明,2024-12-08
- Muon 官方實現與參數分組說明
- Loshchilov、Hutter:Decoupled Weight Decay Regularization
作者作品推廣
以下是作者自有產品推廣。除了寫技術博客,我也獨立開發了兩款日常小工具:日常收支小記用於記錄收支、安排預算與儲蓄目標;一事微光幫助你按當下的時間、精力選擇小行動,並記錄完成後的感受。歡迎按自己的需要了解,也歡迎訪問我的個人網站,閱讀更多技術文章與個人作品。這些產品與本文研究沒有技術關聯或機構背書。