AI 前沿觀察|解讀日期:2026 年 11 月 6 日|資料截止:北京時間 20:29:42

11 月 5 日,獨立評估機構 METR 公佈了一項少見的研究。評估人員從 8 月 12 日到 10 月 29 日查閱 Anthropic 的內部資料,試圖回答一個只有看見研發過程才問得清的問題:當研究員也用上自己正在開發的模型,下一代模型的進步會快多少?他們發現,按一套內部能力指標衡量,最近一年的進步抵得上過去近兩年。至於其中多少應當記在 AI 名下,評估人員給出了判斷,也指出了公眾核查這一判斷時會遇到的困難。METR 主報告

小齒輪和飛輪之間的傳動部件被磨砂玻璃遮住

原創示意圖。兩端都能觀察,中間的傳動關係只露出一部分。

先看清 1.9 倍的分母

METR 用的是 AECI,即 Anthropic 基於 Epoch 能力指數構建的綜合指標。它把不同任務上的得分折算到同一把尺子上,再考察歷代模型在這把尺子上前進了多遠。研究者給每個模型版本標日期時,選用多數員工能用上它的時間。這一點對研發生態尤其重要:一個尚未對外發布、卻已經幫工程師寫了幾週代碼的模型,如果按發佈日期記賬,就會把它可能發揮作用的時間記晚。

研究者假定趨勢有一個轉折點,讓數據決定它在哪裡。主分析把轉折點放在 2025 年 10 月 7 日,此後的年增長斜率是此前的 1.9 倍,95% 置信區間為 1.5 至 2.8 倍。這裡比較的是兩段時間內指數平均每年增加多少。單個模型答對的題數、一次訓練的耗時、每名員工一年完成的項目數,都有各自的分母。報告給出的區間也有邊界:它考慮了每個模型指數得分的不確定性,未把選擇哪些模型納入擬合的不確定性一併算進去。主報告方法附錄

同一張成績表還允許不同的解釋。假如一份測驗裡剩下的都是少數特別難的題,答對最後幾題所代表的能力增量就可能很大。反過來,若有不少題能靠猜測答對,同樣的分差又有另一層含義。METR 改變關於題目難度分佈的假設,得到的提速點估計從 1.1 倍到 2.9 倍,幾種設定對已有數據的擬合卻相近。關心趨勢的讀者可以看到方向大體一致。要判斷是否跨過某條恰好設在兩倍的門檻,這種差異就很要緊。主報告敏感性分析

員工說的 12 倍,量的是另一件事

在內部 Slack 投票中,使用 10 月最強內部模型的員工自報提效平均約 12 倍。這個數字來自自願回應者的估計,既沒有覆蓋每位研究員,也沒有逐項計時。更根本的問題在於,即使每個人都能準確計時,他們有了助手以後,做的可能已經是另一組工作。主報告訪談與調查 METR 對任務選擇的分析

舉個假想的例子。一位研究生原來只寫一個對照實驗的腳本,有了助手,一下午可以寫出十個變體。若讓他估算徒手寫這十個腳本需要多久,他會給出很高的提速倍數。可他原來根本不會寫那十個變體,也可能只有其中一個能區分兩種競爭解釋。要衡量產出的價值,還得問那些額外的實驗有沒有改變下一步決策。另一方面,只給他原來那一個腳本計時,又會漏掉他現在試得起、過去會放棄的好想法。這解釋了為什麼一個真誠的個人估計,也難以直接換算成實驗室的年度進步。

能力進步中有多少來自助手?

METR 對一項替代解釋相當有把握:單憑訓練算力規模增長得更快,解釋不了觀察到的提速。評估人員綜合訪談和其他內部證據,判斷到 2026 年 10 月,AI 很可能貢獻了當時提速的大部分。對於 2025 年末,他們認為其他因素的影響很可能更大。這是評估人員對特定時期的歸因,公開材料裡沒有一條讓同一家實驗室在相同條件下停用 AI 後再走一遍的對照軌跡。主報告歸因與刪節說明

公眾能檢查兩段斜率怎麼算,卻很難用同樣的辦法檢查因果解釋。Anthropic 對非公開信息擁有單方面刪節權。算法進展的估計、部分投入數據和訓練各環節的歸因細節,評估人員看過,公開版讀者看不到。這也解釋了同日另一份文件的措辭:複核 Anthropic 八月風險報告時,同一批評估人員傾向於認為,截至 7 月 15 日尚未越過預警線,但認為越線也是合理可能。七月的預警判斷和十月的趨勢估計各有時間窗口,兩份文件也只來自一次評估工作。八月風險報告複核

下一批模型能檢驗什麼

這次研究給出了一條可以向前檢驗的預期。若先固定指標、版本取樣規則和擬合方法,再用隨後幾代模型檢驗趨勢,便能觀察這次找到的轉折能否預測尚未見過的數據。歸因則需要另一類記錄:哪些實驗由助手提出,哪些結果由人發現問題後返工,以及這些實驗最終有沒有影響訓練決策。公開按階段彙總的成功和失敗案例,即使隱去模型細節,也比再做一次個人提效投票更能幫助讀者判斷節省的時間去了哪裡。

就現有證據,我會把“Anthropic 在可明確評分的任務上可能進步得更快”當作有數據支撐的判斷,把“這種加速會隨下一代助手持續放大”留作預測。尤其值得等的是一個成對的結果:後續能力指標能否維持斜率,以及原先靠人推進的研發環節能否持續縮短。兩者若在同一時期出現,才更值得追問 AI 參與自身研發的反饋究竟有多強。

參考資料


作者作品推廣

除了寫技術博客,我也在做一些讓日常更有條理的小工具,歡迎瞭解我獨立開發的兩款 App:

  • 日常收支小記:記下收支,也給每一筆錢安排好去處。記錄日常賬目,安排預算與儲蓄目標。在 App Store 瞭解。
  • 一事微光:從一件小事開始,讓今天多一點微光。按當下的時間和精力選擇行動,記錄完成後的感受與發現。在 App Store 瞭解。

更多技術文章和個人作品,歡迎來我的網站:zffjzz.top。也歡迎把使用感受告訴我,讓這些小工具慢慢變得更好。