AI 前沿觀察|解讀日期:2026 年 11 月 16 日|資料截止:北京時間 20:28:16

原創概念插畫,不代表實驗裝置或測量結果。
給一個語言模型打磚塊的規則,讓它直接填出另一個神經網絡的參數,不許先玩一局。再給它一個現成的網絡,讓它判斷:眼前的毛病能靠小改動修好,還是根本超出了這次修改的權限?南密西西比大學的 Aayush Marasini、Barsat Khadka 和 Nick Rahimi 把這兩類題放進了同一套評測。團隊報告,表現靠前的模型可以寫出能玩的策略,遇到第二個問題卻常常拿不準。兩種任務都叫“操作權重”,需要的證據很不一樣。預印本記錄顯示,初稿提交於北京時間 11 月 14 日凌晨;作者記錄的實驗日期是 11 月 11 至 13 日。
把球接住,與找出哪裡壞了
權重是網絡把輸入變成輸出時用到的一組數。拿打磚塊作比方,一條樸素策略是比較球和擋板的橫向位置,再決定向哪邊移動。如果已經想好了這條規則,接下來的問題就是能否把“比較”和“移動”寫成指定網絡可以執行的運算。即使提交之前不能試打,這道題也給瞭解題者一個起點:它知道要實現什麼行為,而且可以從空白網絡開始安排每個部件。
維修題沒有這份自由。假如一個語言模型在推理中不斷重複,改完以後讓它少說幾句並不難想像,難的是讓它跳出循環之後仍能把題做完,還不損傷原本正常的回答。更棘手的是,題目有時要求恢復一種被故障擋住的本領,有時要求寫進去的是模型從未學會的東西。論文的方法部分把難但可解的任務也放進可行性判斷題裡。一律拒絕修改並不能過關;這裡的“修不好”也只針對規定的改動規模和能力保留要求,不是數學上證明任何方法都無解。
“不許試跑”如何執行
讀權重時,把一組輸入送進目標網絡看結果,叫作一次前向計算。如果允許不斷試輸入,智能體完全可能從輸出猜出網絡在做什麼,無須辨認內部參數。反過來,把所有昂貴運算一概禁止也不妥:把一塊權重矩陣分解開來觀察結構,可能比試跑一次還費算力,卻沒有向網絡問過一個問題。
作者因此把智能體和最終評分程序隔開。靜態診斷題不許試跑目標網絡,另一些題給少量探測機會;智能體可以做數值分析,系統則跟蹤作用在權重上的運算,檢查是否串成了一次違規試跑。探測和異常會留下記錄,供事後審計。這條界線比籠統地說“不給反饋”更有用:讀者可以追問,一次成功究竟用到了參數本身,還是用到了有限的行為反饋。審計也有代價,被標記的運行在人工放行前按零分處理,所以零分可能意味著沒有可計分的提交,不能一概解釋成模型沒有這項能力。要區分“按時交了一個壞補丁”和“來不及交補丁”,還得回到每次運行的記錄,看分數是在哪一步丟掉的。公開倉庫與計分說明
一張成績表裡的兩種分母
最有意思的是同一個模型的落差。按論文表一,Claude Opus 5.5 在六項從零寫權重任務上的均分是 0.829;到了五項可行性判斷任務,均分只有 0.492,另外兩款 Claude 也在 0.5 附近。作者把後者比作接近隨機猜測的基線。前一個數字不是打磚塊勝率,後一個也不能換算成五道題猜對了幾道:表中報告的是綜合分,各題以任務收益為基礎,並按適用規則扣除連帶損害、編輯和探測成本。
總分還有一層容易忽略的平均:先在每類任務內求均值,再讓五類任務各佔五分之一。Opus 跑了全部 42 項,總分 0.535;GPT-6.1-sol 的 0.568 卻來自 38 項,少了四項推理循環修復題。拿後一個數字直接減前一個,既換了參賽者,也換了題。僅在共同的 38 項上比較,Opus 是 0.546。即使如此,兩者相差的 0.022 也只是這批運行的差值:實驗只取一個任務種子,每題的模型採樣次數少,運行工具也不完全相同。
下一次測量,先換哪一項條件
最值得追加的實驗,是固定同一種工具、同樣的探測預算,讓模型處理成對的故障:外在表現相似,一例可修,另一例在限定條件下不可修。分別記錄誤拒了多少可修任務、又強改了多少不可修任務。對研究者來說,這兩種錯誤的後果不同:誤拒會丟掉一個有效補丁,強改則可能把原本可用的能力一併破壞。再換任務種子,看判斷是否穩定,比看總分的小幅升降更能回答“能不能讓它接手維修”。
核對結果時,還要問跑的是哪個版本。作者的復算說明區分了兩件事:用保存的逐次記錄重算原表,以及用公開軟件重新跑模型。公開版會提醒智能體注意輪次上限、儘早提交,這個提示就可能改變成績。本次未運行評測,也未檢索到對這張結果表的獨立復現。現有證據足以讓人認真對待直接寫權重這一做法;至於把一個現成模型交給它維修,還得看它能否反覆認出不該動手的那一次。
參考資料
作者作品推廣
除了寫技術博客,我也在做一些讓日常更有條理的小工具,歡迎瞭解我獨立開發的兩款 App:
- 日常收支小記:記下收支,也給每一筆錢安排好去處。記錄日常賬目,安排預算與儲蓄目標。在 App Store 瞭解。
- 一事微光:從一件小事開始,讓今天多一點微光。按當下的時間和精力選擇行動,記錄完成後的感受與發現。在 App Store 瞭解。
更多技術文章和個人作品,歡迎來我的網站:zffjzz.top。也歡迎把使用感受告訴我,讓這些小工具慢慢變得更好。