AI 前沿观察|解读日期:2026 年 11 月 6 日|资料截止:北京时间 20:29:42
11 月 5 日,独立评估机构 METR 公布了一项少见的研究。评估人员从 8 月 12 日到 10 月 29 日查阅 Anthropic 的内部资料,试图回答一个只有看见研发过程才问得清的问题:当研究员也用上自己正在开发的模型,下一代模型的进步会快多少?他们发现,按一套内部能力指标衡量,最近一年的进步抵得上过去近两年。至于其中多少应当记在 AI 名下,评估人员给出了判断,也指出了公众核查这一判断时会遇到的困难。METR 主报告

原创示意图。两端都能观察,中间的传动关系只露出一部分。
先看清 1.9 倍的分母
METR 用的是 AECI,即 Anthropic 基于 Epoch 能力指数构建的综合指标。它把不同任务上的得分折算到同一把尺子上,再考察历代模型在这把尺子上前进了多远。研究者给每个模型版本标日期时,选用多数员工能用上它的时间。这一点对研发生态尤其重要:一个尚未对外发布、却已经帮工程师写了几周代码的模型,如果按发布日期记账,就会把它可能发挥作用的时间记晚。
研究者假定趋势有一个转折点,让数据决定它在哪里。主分析把转折点放在 2025 年 10 月 7 日,此后的年增长斜率是此前的 1.9 倍,95% 置信区间为 1.5 至 2.8 倍。这里比较的是两段时间内指数平均每年增加多少。单个模型答对的题数、一次训练的耗时、每名员工一年完成的项目数,都有各自的分母。报告给出的区间也有边界:它考虑了每个模型指数得分的不确定性,未把选择哪些模型纳入拟合的不确定性一并算进去。主报告方法附录
同一张成绩表还允许不同的解释。假如一份测验里剩下的都是少数特别难的题,答对最后几题所代表的能力增量就可能很大。反过来,若有不少题能靠猜测答对,同样的分差又有另一层含义。METR 改变关于题目难度分布的假设,得到的提速点估计从 1.1 倍到 2.9 倍,几种设定对已有数据的拟合却相近。关心趋势的读者可以看到方向大体一致。要判断是否跨过某条恰好设在两倍的门槛,这种差异就很要紧。主报告敏感性分析
员工说的 12 倍,量的是另一件事
在内部 Slack 投票中,使用 10 月最强内部模型的员工自报提效平均约 12 倍。这个数字来自自愿回应者的估计,既没有覆盖每位研究员,也没有逐项计时。更根本的问题在于,即使每个人都能准确计时,他们有了助手以后,做的可能已经是另一组工作。主报告访谈与调查 METR 对任务选择的分析
举个假想的例子。一位研究生原来只写一个对照实验的脚本,有了助手,一下午可以写出十个变体。若让他估算徒手写这十个脚本需要多久,他会给出很高的提速倍数。可他原来根本不会写那十个变体,也可能只有其中一个能区分两种竞争解释。要衡量产出的价值,还得问那些额外的实验有没有改变下一步决策。另一方面,只给他原来那一个脚本计时,又会漏掉他现在试得起、过去会放弃的好想法。这解释了为什么一个真诚的个人估计,也难以直接换算成实验室的年度进步。
能力进步中有多少来自助手?
METR 对一项替代解释相当有把握:单凭训练算力规模增长得更快,解释不了观察到的提速。评估人员综合访谈和其他内部证据,判断到 2026 年 10 月,AI 很可能贡献了当时提速的大部分。对于 2025 年末,他们认为其他因素的影响很可能更大。这是评估人员对特定时期的归因,公开材料里没有一条让同一家实验室在相同条件下停用 AI 后再走一遍的对照轨迹。主报告归因与删节说明
公众能检查两段斜率怎么算,却很难用同样的办法检查因果解释。Anthropic 对非公开信息拥有单方面删节权。算法进展的估计、部分投入数据和训练各环节的归因细节,评估人员看过,公开版读者看不到。这也解释了同日另一份文件的措辞:复核 Anthropic 八月风险报告时,同一批评估人员倾向于认为,截至 7 月 15 日尚未越过预警线,但认为越线也是合理可能。七月的预警判断和十月的趋势估计各有时间窗口,两份文件也只来自一次评估工作。八月风险报告复核
下一批模型能检验什么
这次研究给出了一条可以向前检验的预期。若先固定指标、版本取样规则和拟合方法,再用随后几代模型检验趋势,便能观察这次找到的转折能否预测尚未见过的数据。归因则需要另一类记录:哪些实验由助手提出,哪些结果由人发现问题后返工,以及这些实验最终有没有影响训练决策。公开按阶段汇总的成功和失败案例,即使隐去模型细节,也比再做一次个人提效投票更能帮助读者判断节省的时间去了哪里。
就现有证据,我会把“Anthropic 在可明确评分的任务上可能进步得更快”当作有数据支撑的判断,把“这种加速会随下一代助手持续放大”留作预测。尤其值得等的是一个成对的结果:后续能力指标能否维持斜率,以及原先靠人推进的研发环节能否持续缩短。两者若在同一时期出现,才更值得追问 AI 参与自身研发的反馈究竟有多强。
参考资料
- METR 对 Anthropic 研发提速的十月评估,含方法与敏感性分析
- METR 对 Anthropic 八月风险报告中自动化研发部分的复核
- Tom Cunningham 与 Parker Whitfill 对任务替代和提效口径的分析
作者作品推广
除了写技术博客,我也在做一些让日常更有条理的小工具,欢迎了解我独立开发的两款 App:
- 日常收支小记:记下收支,也给每一笔钱安排好去处。记录日常账目,安排预算与储蓄目标。在 App Store 了解。
- 一事微光:从一件小事开始,让今天多一点微光。按当下的时间和精力选择行动,记录完成后的感受与发现。在 App Store 了解。
更多技术文章和个人作品,欢迎来我的网站:zffjzz.top。也欢迎把使用感受告诉我,让这些小工具慢慢变得更好。