AI 前沿观察|解读日期 2026 年 11 月 14 日|资料截至北京时间 20:33:01

一场学术会议喝掉了多少咖啡?让语言模型算一遍,可能连数量级都会猜错。让同一模型独立算三十遍,再合并答案,能找回多少精度?斯洛文尼亚约瑟夫·斯特凡研究所的 Carolina Fortuna 和 Blaž Bertalanič 在 11 月 12 日提交的预印本中报告,针对一组费米估算题,按模型分别计算,再取中位数,三十次作答比单次作答少了 1.7% 的误差。理解这个幅度,要看模型的估计围绕哪个数上下波动。预印本记录

多支飞镖聚集在靶心右上方,示意独立估算可能共同偏离参考值

原创概念示意图。飞镖的数量和落点不对应实验数据。

一道咖啡题可以错在两个地方

会议咖啡正是 realFP 题集原论文标题里的例子。费米估算允许把难以直接清点的数量拆开。比如先估每天到场多少人,其中多少人喝咖啡,每人每天喝几杯,再乘上会期。即使没人知道确切杯数,读者也能逐项检查推算用到了哪些事实。原数据集为题目提供了支持事实和可执行的解题步骤。题集论文|数据仓库说明

设想模型每次给出的日均杯数略有不同,有时猜高,有时猜低。多问几次,这部分波动有机会抵消。但如果每次都把累计入场人次当成每天到场的人数,又乘了一遍会期,答案可以各不相同,却全都偏大。观察答案彼此相差几杯,发现不了这个重复计数的问题。这个假设例子说明了两类误差,并不指认模型在某道真题上的具体错因。

把同一道题的答案留在一起

作者从 realFP 的 557 道测试题里选出参考值为正且有限的 529 道,分析了 15 个开放权重模型在交流前给出的约 251 万个答案。每个同模型小组的成员收到同一提示,各自作答。合并时用几何平均数,这适合比较相差几个数量级的估计。比如参考值是 100,回答 10 和 1000 各差十倍,放在对数刻度上恰好一低一高,两数的几何平均也是 100。论文方法与表 1

研究者先对每个模型逐题算出它平均高估或低估多少,再看每次输出偏离该题平均水平多少。在主实验中,前一项随题目变化的部分占总误差方差的比例,跨模型的中位数为 90.6%。分母是误差的方差。如果只拿一道题看,两个独立回答完全可以各有各的波动。把整份题集摊开来看,同一个模型在哪些题上经常高估、在哪些题上经常低估,却有相当稳定的规律。论文表 2

把误差方向打乱,会发生什么?

作者构造了两种可以对照的三十人小组。第一种从同一模型对同一题的已有回答中独立抽样,每抽一次就把答案放回。这样保留了这道题原有的高估或低估倾向。抽出来的小组与实际小组表现几乎一样。这解释了一个容易误判的现象:即便成员之间没有交流,独立抽样也足以产生一组挤在错误位置附近的答案。论文第 5 节

第二种仍保留每次答错的幅度,但随机指定误差的正负方向。一道原本总被高估的题,现在也有同等机会被低估。经过这一步,三十个答案合并后的误差比单答少了 74% 至 79%,实际小组的降幅中位数却只有 1.7%。两边用的是同一种按数量级计分、限制极端误差影响的指标。随机翻转方向需要先知道参考值,所以这组结果只能告诉我们,消除逐题偏向之后,平均能发挥多大作用。论文表 2 与对照设计

当五个回答越来越接近

让成员看到彼此的答案,问题又多了一层。在五成员组中,从首轮作答到第三轮修订,作者用来衡量组内分歧的指标下降了 93%。对其中 12 个模型,至少半数题目上已有三名成员给出相同的数。可是在同一批题上,模型逐题平均误差的方差几乎没动。对读者来说,如果界面只展示最后一轮的五个估计,少掉的恰好是最重要的一条信息:这一组一致的答案离参考值还有多远。论文第 6 节

这一段还有个影响解释的程序错误。负责把队友答案送进下一轮的程序有时会读错科学记数法。作者可以按原始文本重新评分,却不能让已经完成修订的成员忘掉它看到的错数。排除受影响的小组之后,同模型组的主要结果相近,不同模型混编组的辩论效果则需要重跑才能判断。首轮成员还没看过队友答案,前面的三十次独立估算不经过这一步。论文第 6 节及局限

下一轮该把算力花在哪里

回到咖啡题,值得比较两种用法。一组继续独立估算,另一组把部分预算花在查证一个影响大的量,例如每天实际到场人数。让两组花相近的推理与检索成本,再看原来偏得最远的那些题是否更接近参考值。还可以保留每一步用过的数,以便判断改善来自查到了缺失的事实,还是恰好有两处错误互相抵消。这样的实验才能回答,为一道具体的估算题补充信息,值不值它占用的预算。

本次研究关闭了模型的思考模式,主实验每次最多生成 1024 个词元。逐题检索资料与延长推理都还是待检验的路径。就这批模型和题目而言,三十次作答已经足以把答案集中的位置估得更稳;要判断这个位置是否可信,还得找到独立于这三十次作答的依据。论文讨论与局限

参考资料


作者作品推广

除了写技术博客,我也在做一些让日常更有条理的小工具,欢迎了解我独立开发的两款 App:

  • 日常收支小记:记下收支,也给每一笔钱安排好去处。记录日常账目,安排预算与储蓄目标。在 App Store 了解。
  • 一事微光:从一件小事开始,让今天多一点微光。按当下的时间和精力选择行动,记录完成后的感受与发现。在 App Store 了解。

更多技术文章和个人作品,欢迎来我的网站:zffjzz.top。也欢迎把使用感受告诉我,让这些小工具慢慢变得更好。