
摘要
一道數學題交給模型,它寫下證明,Lean 在聲明旁標出雙勾。這時可以放心使用什麼?如果題目已經準確寫成形式命題,證明完整,所用公理也在許可範圍內,那麼別人可以拿走這份證明,交給同一環境重新檢查。即使模型明天忘了怎麼做,這份數學成果仍然成立。反過來,若把題目中的一個條件刪掉,再問模型原證明在哪裡失效,這對勾給不了答案。前一個問題考查交付的證明,後一個問題考查生成者能否認出證明對條件的依賴。
本文把“理解”收窄成一個能出題檢驗的問題:模型能否辨認關鍵前提,在等價改寫後複用論證,並在前提失效時給出反例?以下三篇論文分別讓我們看清,題意在哪一步確定,驗證器給搜索提供了什麼,以及別的證明能否繼續使用生成的定理。它們給出的證據可以拼起來讀,分數卻不能拼成一張能力排行榜。
先看檢查器收到的是哪道題
想像一位出題人寫下:“任意兩個正整數的和大於其中每一個數。”翻譯者把“正整數”寫成了“整數”,證明者隨即發現其中一個加數可以為零,嚴格不等式不再成立。如果翻譯者反過來只允許兩個數都大於十,證明就容易通過,但所有涉及一到十的合法情形都被悄悄移出了題目。這是說明性例子。兩種錯譯的共同點在於,檢查器收到的已經是另一份題面;無論它多麼嚴格,都無法僅靠檢查這份證明找回被改掉的範圍。
Lean 是證明助手。數學對象、假設和目標用形式語言寫清楚後,可以調用已經證明的引理,也可以寫“策略”,即讓程序代為構造某一步證明的指令。最終要檢查的是一份能在當前環境中推出目標的證明。Lean 手冊對雙勾的說明
讀報告時要問清,提交者是否只補全題面以下的證明,是否可以重寫題面,以及是否排除了用佔位符留下未證結論。後兩項設置會改變“文件編譯成功”的含義。一個模型能在固定題面下得到完整證明,本身就是有用且可核查的成就。固定題面的證明生成,圖 1

左欄比較原題和形式陳述,中欄表示給定命題的證明已獲接受,右欄提出換條件後的遷移問題。三個圖標標出需要分別收集的證據,右側問號表示尚待測試。
第一處落差發生在寫證明之前
Poiroux 等人研究的是“陳述自動形式化”,也就是把自然語言命題翻成 Lean。這裡就算留著證明不寫,也可以評價翻譯質量。他們把候選陳述和參考陳述放在一起,用稱為 BEq+ 的程序嘗試從一個推出另一個,再調換方向。比起核對單詞,這給了等價改寫被承認的機會。例如把一個假設從句首移到蘊含式的左側,文本看起來變了,但證明者可以在兩個寫法之間來回搬運同一項條件。論文第 3 節及附錄 A
在帶有人工標註的 ProofNetVerif 上,表 1 給出的精確率為 98.0%,召回率為 48.3%。前一個分母是被程序判為等價的候選,後一個分母是標註認可的候選。站在閱卷人的位置看,這意味著拿到肯定判定的候選大多能對上人工判斷,但只把這些候選當作全部正確譯文,會漏掉相當一部分。另一個有意思的結果是,在修訂過的 ProofNet# 上,按模型與方法彙總後,自動分數與人工準確率的排序相當一致。表 2 比較的是一組方法的排序,讀者不能把這個結果轉交給任意一道題,保證該題的譯文可靠。表 1、表 2
連“雙向可推”也有邊界。作者在附錄討論過一種誤收:如果一邊本身就把結論當成前提,證明搜索可能輕易閉合目標。文中以整數整除關係為例,原題關心的是從高斯整數中的整除過渡到普通整數中的整除,候選卻已經假定了普通整數中的整除。讀者丟掉了這道題最想問的那一步。作者也記載了針對這類問題的修補。這個例子的價值在於說明需要檢查等價判定究竟用了什麼,而不能據此推斷現行實現對該樣例仍會誤判。附錄 A.6
同一份證明,可能經歷過很不一樣的搜索
把翻譯問題拿開,給所有系統同一個形式命題。DeepSeek-Prover-V1.5 提供了一個很乾淨的讀表機會。作者允許系統一次生成整份證明,也允許它利用 Lean 返回的中間狀態從有效前綴繼續探索。後者可以在某一步出錯時保留此前走通的部分,再嘗試不同的續寫。驗證器除了在終點驗收,還能在途中告訴系統“這裡還剩什麼目標”。部署這套搜索系統的人可以合理地把它算作解題工具的一部分。圖 1 及第 4 節
先只看表 1 中同一個強化學習版本、整份生成、同一 miniF2F 測試集的行。每題採樣預算從 128 增至 3200 時,報告的平均解題率從 51.6% 升到 54.9%,相應標準差為 0.5 和 0.7 個百分點。這裡的計分單位是題:預算內只要出現一份合格證明,該題就算解決。於是,即便模型權重相同,多次嘗試也能改變讀者在表中看到的“能力”。兩個平均數沒有告訴我們某一道題是靠關鍵引理、常見模板,還是靠若干失敗後的偶然組合解開的。第 5.1 節表 1
這給出了兩個可以同時成立的解釋。模型可能掌握瞭如何把結論分解成適當的子目標,只是有時寫錯了庫裡的名稱;它也可能對某類題反覆嘗試熟悉策略,直到有一條分支恰好適用。兩者都能留下完全正確的證明,連最終文本也可能一樣。只保存勝出的軌跡,便看不到這些軌跡在所有嘗試中佔了多少,更看不到換條件後能否再次選對分支。反過來,嘗試過許多分支也不能作為缺乏理解的證據,知道應當使用哪個定理與第一次就寫出正確參數之間還有距離。
把生成的定理放回原處,會發生什麼?
Kim 等人換了一種考法。從真實 Lean 項目裡拿走一項聲明,讓模型根據上下文補回,再把補好的內容放回倉庫。這裡生成者可以決定聲明的形式。作者分別檢查候選本身能否編譯、依賴它的後續定理能否全部編譯。後一項稱為測試準確率。設想庫裡原本有條適用於所有正整數的引理,替換品卻額外要求輸入為偶數:證明替換品本身可能毫無困難,但某個對奇數調用舊引理的證明會立即遇到一個無法滿足的前提。任務示例及第 5.2 節
在完整測試集、同時提供自然語言證明與後續定理上下文的設置下,同一個 Claude-Sonnet-4.5 的獨立編譯率是 80.3%,通過全部依賴測試的是 38.9%。兩列都以整組題目為分母。它們之間的距離表明,有些能獨立成立的提交放回特定項目後無法承擔原來的用途。後續定理已經作為生成提示的一部分,所以這個結果也有明確的適用範圍;若要問模型能否預見全新的用途,需要另留一批調用情景。表 2、表 3
還要留意失敗和成功各自能說明多少。下游調用失敗,可以定位一個真實不兼容之處;一個在數學上等價、但參數順序不同的接口,也可能讓原有調用出錯。相反,假如所有下游調用恰好只用偶數,那個縮小範圍的替換品或許就能矇混過關。作者在侷限部分也指出,依賴稀少時覆蓋不足,尚無後繼定理的獨立結果無法這樣評估。此外,這批題的自然語言說明由模型生成,可能與原作者的題意有出入。本文據此把該指標讀成“在已有調用中可替換”的證據,把題意忠實度留給獨立核對。第 8 節
怎樣設計一道能區分解釋的追問
三項研究各自固定的東西不同。第一項給定參照譯文,測評判程序與標註的一致性;第二項給定形式題面,測特定生成與搜索預算下解出的題;第三項給定倉庫環境,檢查生成物能否接回依賴鏈。三者的模型起點、數據集、是否提供後續調用、每題允許的嘗試均不同,也沒有共享的訓練對照。把精確率、解題率和測試準確率按數值大小排列,會把三個不同的分母誤寫成同一批學生的三次考試。它們真正能共同約束的是結論的措辭:可以說哪件作品通過了哪種檢查,再另問換題後的行為。
一個可實施的後續實驗可以從上述正整數例子起步。為每道母題事先寫好三份題面:原題、保持含義但交換表述順序的題,以及僅放寬一個關鍵條件的題。由出題者提前給等價題準備可檢查的證明,為放寬後失真的命題準備可檢查的反例。例如允許零作加數時,只要給出一個正整數和零,和就等於原數。這樣既能測出系統會不會修證明,也給“這題已經不能證明了”留出了答對的途徑。題面應預先固定;讓同一個生成器同時改題、答題和評價反例,會重新引入翻譯誤差。
將每道變體獨立送入同一模型,隱藏同族題的答案。先要求在調用工具前選出可能失效的步驟,再允許它提交證明或反例。固定可用引理、模型版本與提示,給完整重採樣和可讀中間狀態的搜索設相同的總生成量上限,另記檢查器調用次數與耗時。只對齊嘗試次數仍可能失衡,因為重寫整份證明和續寫最後一步的成本不同。超時、工具錯誤、主動作答為假和交出失敗證明應分開保存,尤其不能把搜索用盡當作命題為假的證據。
解讀時以母題為單位保留配對結果。如果系統在原題與等價題上都能成證,還能在刪前提時預先點出斷裂處並交出反例,那麼“只複用原題固定答案”這項解釋就遇到了困難。如果優勢只在放開搜索後出現,或系統能說出漂亮理由卻總給不出合法反例,結論就應收窄到預算內找到證明或生成解釋的能力。即使整組通過,也只能為這類前提變化上的遷移提供證據。換到另一數學領域、另一套庫或者更復雜的量詞結構,都需要新的題族。以上是實驗設計,本篇未執行模型實驗。
總結
下一次看到“已由 Lean 驗證”,先找出被驗證的那行定理聲明,看看哪些條件寫進了它;再看生成者得到多少次嘗試,以及別的證明要怎樣調用它。這樣做既能放心接過一份可複查的證明,也能給“理解了”這句話配上一道真正有辨別力的追問:把決定成敗的那個條件改掉,它還能指出原因並做對嗎?
參考資料
Poiroux 等(2025),Reliable Evaluation and Benchmarks for Statement Autoformalization,EMNLP。
Xin 等(2025),DeepSeek-Prover-V1.5: Harnessing Proof Assistant Feedback for Reinforcement Learning and Monte-Carlo Tree Search,ICLR。
Kim、Han、Hwang(2026),Benchmarking Testing in Automated Theorem Proving,ACL Industry Track。
Lean Language Reference,Validating a Lean Proof,官方在線手冊,2026 年 11 月查閱。
作者作品推廣
除了寫技術博客,我也在做一些讓日常更有條理的小工具,歡迎瞭解我獨立開發的兩款 App:
- 日常收支小記:記下收支,也給每一筆錢安排好去處。記錄日常賬目,安排預算與儲蓄目標。在 App Store 瞭解。
- 一事微光:從一件小事開始,讓今天多一點微光。按當下的時間和精力選擇行動,記錄完成後的感受與發現。在 App Store 瞭解。
更多技術文章和個人作品,歡迎來我的網站:zffjzz.top。也歡迎把使用感受告訴我,讓這些小工具慢慢變得更好。