AI 前沿觀察|解讀日期 2026 年 11 月 14 日|資料截至北京時間 20:33:01

一場學術會議喝掉了多少咖啡?讓語言模型算一遍,可能連數量級都會猜錯。讓同一模型獨立算三十遍,再合併答案,能找回多少精度?斯洛文尼亞約瑟夫·斯特凡研究所的 Carolina Fortuna 和 Blaž Bertalanič 在 11 月 12 日提交的預印本中報告,針對一組費米估算題,按模型分別計算,再取中位數,三十次作答比單次作答少了 1.7% 的誤差。理解這個幅度,要看模型的估計圍繞哪個數上下波動。預印本記錄

多支飛鏢聚集在靶心右上方,示意獨立估算可能共同偏離參考值

原創概念示意圖。飛鏢的數量和落點不對應實驗數據。

一道咖啡題可以錯在兩個地方

會議咖啡正是 realFP 題集原論文標題裡的例子。費米估算允許把難以直接清點的數量拆開。比如先估每天到場多少人,其中多少人喝咖啡,每人每天喝幾杯,再乘上會期。即使沒人知道確切杯數,讀者也能逐項檢查推算用到了哪些事實。原數據集為題目提供了支持事實和可執行的解題步驟。題集論文|數據倉庫說明

設想模型每次給出的日均杯數略有不同,有時猜高,有時猜低。多問幾次,這部分波動有機會抵消。但如果每次都把累計入場人次當成每天到場的人數,又乘了一遍會期,答案可以各不相同,卻全都偏大。觀察答案彼此相差幾杯,發現不了這個重複計數的問題。這個假設例子說明了兩類誤差,並不指認模型在某道真題上的具體錯因。

把同一道題的答案留在一起

作者從 realFP 的 557 道測試題裡選出參考值為正且有限的 529 道,分析了 15 個開放權重模型在交流前給出的約 251 萬個答案。每個同模型小組的成員收到同一提示,各自作答。合併時用幾何平均數,這適合比較相差幾個數量級的估計。比如參考值是 100,回答 10 和 1000 各差十倍,放在對數刻度上恰好一低一高,兩數的幾何平均也是 100。論文方法與表 1

研究者先對每個模型逐題算出它平均高估或低估多少,再看每次輸出偏離該題平均水平多少。在主實驗中,前一項隨題目變化的部分佔總誤差方差的比例,跨模型的中位數為 90.6%。分母是誤差的方差。如果只拿一道題看,兩個獨立回答完全可以各有各的波動。把整份題集攤開來看,同一個模型在哪些題上經常高估、在哪些題上經常低估,卻有相當穩定的規律。論文表 2

把誤差方向打亂,會發生什麼?

作者構造了兩種可以對照的三十人小組。第一種從同一模型對同一題的已有回答中獨立抽樣,每抽一次就把答案放回。這樣保留了這道題原有的高估或低估傾向。抽出來的小組與實際小組表現幾乎一樣。這解釋了一個容易誤判的現象:即便成員之間沒有交流,獨立抽樣也足以產生一組擠在錯誤位置附近的答案。論文第 5 節

第二種仍保留每次答錯的幅度,但隨機指定誤差的正負方向。一道原本總被高估的題,現在也有同等機會被低估。經過這一步,三十個答案合併後的誤差比單答少了 74% 至 79%,實際小組的降幅中位數卻只有 1.7%。兩邊用的是同一種按數量級計分、限制極端誤差影響的指標。隨機翻轉方向需要先知道參考值,所以這組結果只能告訴我們,消除逐題偏向之後,平均能發揮多大作用。論文表 2 與對照設計

當五個回答越來越接近

讓成員看到彼此的答案,問題又多了一層。在五成員組中,從首輪作答到第三輪修訂,作者用來衡量組內分歧的指標下降了 93%。對其中 12 個模型,至少半數題目上已有三名成員給出相同的數。可是在同一批題上,模型逐題平均誤差的方差幾乎沒動。對讀者來說,如果界面只展示最後一輪的五個估計,少掉的恰好是最重要的一條信息:這一組一致的答案離參考值還有多遠。論文第 6 節

這一段還有個影響解釋的程序錯誤。負責把隊友答案送進下一輪的程序有時會讀錯科學記數法。作者可以按原始文本重新評分,卻不能讓已經完成修訂的成員忘掉它看到的錯數。排除受影響的小組之後,同模型組的主要結果相近,不同模型混編組的辯論效果則需要重跑才能判斷。首輪成員還沒看過隊友答案,前面的三十次獨立估算不經過這一步。論文第 6 節及侷限

下一輪該把算力花在哪裡

回到咖啡題,值得比較兩種用法。一組繼續獨立估算,另一組把部分預算花在查證一個影響大的量,例如每天實際到場人數。讓兩組花相近的推理與檢索成本,再看原來偏得最遠的那些題是否更接近參考值。還可以保留每一步用過的數,以便判斷改善來自查到了缺失的事實,還是恰好有兩處錯誤互相抵消。這樣的實驗才能回答,為一道具體的估算題補充信息,值不值它佔用的預算。

本次研究關閉了模型的思考模式,主實驗每次最多生成 1024 個詞元。逐題檢索資料與延長推理都還是待檢驗的路徑。就這批模型和題目而言,三十次作答已經足以把答案集中的位置估得更穩;要判斷這個位置是否可信,還得找到獨立於這三十次作答的依據。論文討論與侷限

參考資料


作者作品推廣

除了寫技術博客,我也在做一些讓日常更有條理的小工具,歡迎瞭解我獨立開發的兩款 App:

  • 日常收支小記:記下收支,也給每一筆錢安排好去處。記錄日常賬目,安排預算與儲蓄目標。在 App Store 瞭解。
  • 一事微光:從一件小事開始,讓今天多一點微光。按當下的時間和精力選擇行動,記錄完成後的感受與發現。在 App Store 瞭解。

更多技術文章和個人作品,歡迎來我的網站:zffjzz.top。也歡迎把使用感受告訴我,讓這些小工具慢慢變得更好。