两座记忆结构接受局部调整,示意学习新任务与保留已有能力之间的权衡

封面为 AI 生成的概念插画,不是论文架构、真实装置或实验结果。

解读日期:2026-11-03
资料截止:2026-11-03 20:34:19(北京时间,Asia/Shanghai)

北京时间今天凌晨 02:56,卡内基梅隆大学 Catherine Li、Jingchu Gai 等研究者向 arXiv 提交了比较 Muon 与 AdamW 的论文版本。团队报告:随着预训练数据增加,两种优化器在微调后的优劣可能反转。这项工作值得读,因为研究者最终需要的往往不是训练结束时分数最好看的模型,而是能够继续学习、又不过度丢失已有能力的模型。论文及提交记录

新的是论文版本,问题已有公开讨论

先把时间说清楚:arXiv 的提交时间是 11 月 2 日 18:56:43 UTC。MOSS 研讨会官网已将相关题目列入 10 月 9 日议程,题名中的两种优化器顺序与当前版本不同。因此,本文解读近期 arXiv 版本,不将研究结论描述为今天首次公开;实验实际发生日期也不能从提交时间推断。研讨会议程

本次打开关联 OpenReview 页面时遇到浏览器验证,未读到评审记录。研讨会报告与完整版本经过怎样的评审,不宜混为一谈。以下实验结果均归属于作者报告,本文没有运行复现。

这种时间区分也影响新闻判断:值得追踪的未必是某个方法突然“翻车”,而是公开材料是否让我们有机会重新审视原来过于简化的选型标准。

优化器改变了什么?

优化器可以理解为训练时调整模型参数的规则。AdamW 的原始工作将权重衰减与依据损失进行的更新分开;这提醒我们,即使看似细小的更新规则,也可能改变最终模型的泛化表现。AdamW 原始论文

Muon 则对隐藏层矩阵的更新作近似正交化处理。直观上,它重新组织不同更新方向的相对作用,而非只把所有步长一起放大。作者最初介绍中将强化较弱方向作为解释猜想,不能当成所有场景下已证实的原因。Muon 作者说明

还有一个容易被名称掩盖的细节:Muon 的官方实现建议,嵌入、输出头等其他参数仍使用 AdamW。因此,“Muon 对比 AdamW”不一定是每个参数都用了两套完全不同的算法。读比较实验时,应先明确哪些参数发生了变化,再讨论胜负。官方实现说明

把学习成绩和遗忘代价放在一起

新论文考察约三千万至六亿参数的 OLMo 风格模型,在四个数据集上微调,并比较新任务损失与预训练数据上的损失。作者报告,小数据预算下 Muon 更有利,预算增大后 AdamW 可以取得更好的学习与遗忘权衡;这种变化并不要求 Muon 先失去预训练损失优势。实验设置与结果

可以用一个假想例子理解这种比较:两名学生学完专业课程,一名专业成绩更高,却把基础课忘得更多;另一名专业成绩略低,但基础知识保存得较好。只看专业成绩,无法回答谁更适合继续承担不同任务。这个例子只是解释评价目标,并非论文中的实际数据。

对模型也是如此。把学习率调大,可能更快适应新材料,同时更明显地改变旧行为。合理的比较应允许双方调整学习强度,再观察相同适应水平下保留了多少原有表现。否则,一个看似漂亮的“提升”,可能只是选中了更激进的训练点。

证据支持到哪里?

论文还用线性联想记忆研究输出受扰动时的稳定性,但其单步理论比较使用的是梯度下降与理想化 Muon,不能直接视为真实语言模型中 AdamW 全过程的定理。理论设置

这里有两道需要保留的边界。首先,预训练数据损失是评价指标,不是对模型全部知识的逐项盘点;损失更低也不自动等于回答更可靠。其次,在一个规模范围内观察到的趋势,还需要更大模型和其他任务检验。尤其当部署要求是长文本推理、代码修改或多轮交互时,不能用一个代理指标代替完整能力评价。

本次检索未找到可确认的独立复现。前述论文摘要与全文属于同一项研究;Muon 官方仓库提供背景算法,也不是这篇比较实验的独立验证。读者应把当前结论当作有实验支持的研究信号,继续等待外部检查。

科研读者接下来该看什么?

本文的判断是,这项研究最有价值的启发,是把优化器选择的终点向后移动:如果模型未来一定要微调,就应把微调后的适应与保留表现纳入预训练决策。

下一步值得观察三件具体事情:独立团队能否在固定数据和调参预算下重现反转;换成不同领域任务后,优势交叉的位置是否稳定;把训练时间、调参开销与最终任务质量一起计算后,实际选择是否仍然相同。这些都是待检验问题,不是本文替作者补上的结果。还应公开失败的配置和选择规则:如果只展示各自最好的检查点,却没有交代寻找它们花了多少尝试,读者仍然难以判断优势能否在有限预算下稳定获得。

小规模研究的价值,在于能把变量拆开检查;它的外推力度,则取决于后续证据。现阶段无需给两种优化器排一个永久名次。更有用的行动,是在自己的评测表里增加一列:学会新任务之后,哪些原有能力仍被保留?

参考资料

  1. Li 等:论文摘要与 arXiv 提交记录
  2. 论文 v1:实验设置、结果及理论分析
  3. MOSS@COLM2026 官方议程
  4. Keller Jordan:Muon 的设计说明,2024-12-08
  5. Muon 官方实现与参数分组说明
  6. Loshchilov、Hutter:Decoupled Weight Decay Regularization

作者作品推广

以下是作者自有产品推广。除了写技术博客,我也独立开发了两款日常小工具:日常收支小记用于记录收支、安排预算与储蓄目标;一事微光帮助你按当下的时间、精力选择小行动,并记录完成后的感受。欢迎按自己的需要了解,也欢迎访问我的个人网站,阅读更多技术文章与个人作品。这些产品与本文研究没有技术关联或机构背书。