AI 前沿观察|解读日期:2026 年 11 月 16 日|资料截止:北京时间 20:28:16

打砖块棋盘与一块正在调整的矩阵板并排,示意从零写入与局部修补的区别

原创概念插画,不代表实验装置或测量结果。

给一个语言模型打砖块的规则,让它直接填出另一个神经网络的参数,不许先玩一局。再给它一个现成的网络,让它判断:眼前的毛病能靠小改动修好,还是根本超出了这次修改的权限?南密西西比大学的 Aayush Marasini、Barsat Khadka 和 Nick Rahimi 把这两类题放进了同一套评测。团队报告,表现靠前的模型可以写出能玩的策略,遇到第二个问题却常常拿不准。两种任务都叫“操作权重”,需要的证据很不一样。预印本记录显示,初稿提交于北京时间 11 月 14 日凌晨;作者记录的实验日期是 11 月 11 至 13 日。

把球接住,与找出哪里坏了

权重是网络把输入变成输出时用到的一组数。拿打砖块作比方,一条朴素策略是比较球和挡板的横向位置,再决定向哪边移动。如果已经想好了这条规则,接下来的问题就是能否把“比较”和“移动”写成指定网络可以执行的运算。即使提交之前不能试打,这道题也给了解题者一个起点:它知道要实现什么行为,而且可以从空白网络开始安排每个部件。

维修题没有这份自由。假如一个语言模型在推理中不断重复,改完以后让它少说几句并不难想象,难的是让它跳出循环之后仍能把题做完,还不损伤原本正常的回答。更棘手的是,题目有时要求恢复一种被故障挡住的本领,有时要求写进去的是模型从未学会的东西。论文的方法部分把难但可解的任务也放进可行性判断题里。一律拒绝修改并不能过关;这里的“修不好”也只针对规定的改动规模和能力保留要求,不是数学上证明任何方法都无解。

“不许试跑”如何执行

读权重时,把一组输入送进目标网络看结果,叫作一次前向计算。如果允许不断试输入,智能体完全可能从输出猜出网络在做什么,无须辨认内部参数。反过来,把所有昂贵运算一概禁止也不妥:把一块权重矩阵分解开来观察结构,可能比试跑一次还费算力,却没有向网络问过一个问题。

作者因此把智能体和最终评分程序隔开。静态诊断题不许试跑目标网络,另一些题给少量探测机会;智能体可以做数值分析,系统则跟踪作用在权重上的运算,检查是否串成了一次违规试跑。探测和异常会留下记录,供事后审计。这条界线比笼统地说“不给反馈”更有用:读者可以追问,一次成功究竟用到了参数本身,还是用到了有限的行为反馈。审计也有代价,被标记的运行在人工放行前按零分处理,所以零分可能意味着没有可计分的提交,不能一概解释成模型没有这项能力。要区分“按时交了一个坏补丁”和“来不及交补丁”,还得回到每次运行的记录,看分数是在哪一步丢掉的。公开仓库与计分说明

一张成绩表里的两种分母

最有意思的是同一个模型的落差。按论文表一,Claude Opus 5.5 在六项从零写权重任务上的均分是 0.829;到了五项可行性判断任务,均分只有 0.492,另外两款 Claude 也在 0.5 附近。作者把后者比作接近随机猜测的基线。前一个数字不是打砖块胜率,后一个也不能换算成五道题猜对了几道:表中报告的是综合分,各题以任务收益为基础,并按适用规则扣除连带损害、编辑和探测成本。

总分还有一层容易忽略的平均:先在每类任务内求均值,再让五类任务各占五分之一。Opus 跑了全部 42 项,总分 0.535;GPT-6.1-sol 的 0.568 却来自 38 项,少了四项推理循环修复题。拿后一个数字直接减前一个,既换了参赛者,也换了题。仅在共同的 38 项上比较,Opus 是 0.546。即使如此,两者相差的 0.022 也只是这批运行的差值:实验只取一个任务种子,每题的模型采样次数少,运行工具也不完全相同。

下一次测量,先换哪一项条件

最值得追加的实验,是固定同一种工具、同样的探测预算,让模型处理成对的故障:外在表现相似,一例可修,另一例在限定条件下不可修。分别记录误拒了多少可修任务、又强改了多少不可修任务。对研究者来说,这两种错误的后果不同:误拒会丢掉一个有效补丁,强改则可能把原本可用的能力一并破坏。再换任务种子,看判断是否稳定,比看总分的小幅升降更能回答“能不能让它接手维修”。

核对结果时,还要问跑的是哪个版本。作者的复算说明区分了两件事:用保存的逐次记录重算原表,以及用公开软件重新跑模型。公开版会提醒智能体注意轮次上限、尽早提交,这个提示就可能改变成绩。本次未运行评测,也未检索到对这张结果表的独立复现。现有证据足以让人认真对待直接写权重这一做法;至于把一个现成模型交给它维修,还得看它能否反复认出不该动手的那一次。

参考资料

  1. WeightBench 预印本:作者、摘要与提交历史
  2. WeightBench 论文全文:实验设计与表一
  3. 作者代码仓库:任务与初步成绩
  4. 作者复算说明:实验日期、零分规则与版本差异

作者作品推广

除了写技术博客,我也在做一些让日常更有条理的小工具,欢迎了解我独立开发的两款 App:

  • 日常收支小记:记下收支,也给每一笔钱安排好去处。记录日常账目,安排预算与储蓄目标。在 App Store 了解。
  • 一事微光:从一件小事开始,让今天多一点微光。按当下的时间和精力选择行动,记录完成后的感受与发现。在 App Store 了解。

更多技术文章和个人作品,欢迎来我的网站:zffjzz.top。也欢迎把使用感受告诉我,让这些小工具慢慢变得更好。