AI 前沿觀察|解讀日期:2026 年 11 月 15 日|資料截止:北京時間 20:31:02
有人問:怎樣用正則表達式從 XML 文件裡提取數據?助手寫出一段能匹配示例的表達式,又在末尾提醒了一句,其實可以用解析器。該不該給這個答案打高分?11 月 13 日,Ai2 介紹了 XYBench。在它收集的 Stack Overflow 問題上,GPT-5 的回答比論壇最高票回答更常提到能解決根本問題的辦法;但如果看整篇回答主要建議用戶怎麼做,兩者的位置就倒了過來。這一區別關係到我們怎樣給一個看似面面俱到的助手判分。

原創示意圖:用戶問的是怎樣使錘,手頭要做的卻可能是把螺釘擰緊。
一道題裡,藏著兩個請求
沿用論文的例子,提問者想從 XML 中拿到數據,這是目標 X;他認定要用正則表達式,只問表達式怎樣寫,這是手段 Y。假如輸入換一個層級,原先能匹配的式子可能就失效。回答者要決定的是:繼續完善這個式子,還是先解釋文件本身有結構,建議按節點讀取?兩種辦法都可以佔據回答的一行,卻會把讀者帶去做很不一樣的事。
Akhila Yerukola 等人的預印本在 9 月 6 日(UTC)已經提交,論文收入 10 月的 EMNLP 2026 主會論文集。11 月的機構公告給出了閱讀這些結果的入口。研究者收集或構造了 8,115 條帶誤解的提問,其中 1,557 條來自 Stack Overflow,184 條來自其他 Stack Exchange 社區,102 條由團隊人工選編,另有 6,268 條依據 WikiHow 文章構造。最後一類規模最大,卻沒有對應的人類參考回答。把整套題都稱為真實用戶對話,或者拿全部題目作為人機對照的分母,都會讀錯這項研究。數據卡保留了區分這些來源的字段。
只換一個評分問題,比較結果就反過來
在單輪自由作答中,每個模型對每題答一次。看論文表 2的 Stack Overflow 部分:GPT-5 有 71% 的回答至少給出了一種通向目標 X 的做法,人類最高票回答為 67%。若評測只搜尋預期建議有沒有出現,前者看起來略佔上風。但問到整篇回答是否把 X 當成重點,GPT-5 變成 41%,最高票回答是 55%。這裡的百分比都指各組回答所佔比例;最高票指社區投票,並非提問者標記為採納。
兩列相差的那部分,正是隻檢查關鍵詞容易放過去的回答。設想助手用五段講怎樣修改表達式,最後用一行說也可考慮解析器。它確實給了另一條路,卻把可複製的代碼、調試步驟和大部分篇幅都留給了原先的路。讀者若只照著操作,可能仍要回來問下一種輸入怎麼處理。這個例子解釋了為什麼要評回答的重心;實驗沒有跟蹤任何一位讀者最終採用了哪條建議。反過來,一篇只用三句話講清為什麼要改用解析器的回答,可能在覆蓋的選項上吃虧,卻給出了更清楚的下一步。
把目標明說,模型也未必會勸人換辦法
一種解釋是,模型只是沒猜中意圖。於是作者做了一個對照:除了原問題,還把表面請求和預設的真實目標一起交給模型。在同一編程子集上,Claude Sonnet 4.6 給出目標解法的比例從 59% 升到 67%,可按評測規則成功指出或避開誤區、引向目標的比例卻從 47% 降為 34%。多給了一條線索,回答更可能添上一種解法,卻未必更願意捨棄不合適的那一種。團隊公告分別列出了這兩個指標。
另一組實驗反過來,請模型在兩份現成答覆中選較有幫助的一份。五個主評模型加上 GPT-4.1,在該子集上選擇面向根本目標的答覆的比例為 71% 至 84%。選項已經替答題者寫出了誤解在哪裡、下一步能怎麼做。因而這組數能說明模型常能認出這樣的建議,不能當作它在空白輸入框前也會主動寫出來的概率。評測倉庫把選擇題和自由生成分成了兩個入口。
哪些時候,助手反而應該先問一句?
主實驗用 Claude Sonnet 4.5 作裁判。作者讓兩名評閱者各自評估 500 份回答,按評閱者取平均,與自動裁判對「解法是否出現」的一致率為 97.5% 至 100%,對「回答重心在哪裡」則為 74.2% 至 79.8%。後一個問題最能揭示人機差異,恰好也是人和裁判更容易意見不同的地方。把幾個百分點的差距拿來給相鄰模型排座次,證據沒有看起來那麼精細。核對口徑見原始說明。
還有一個面向實際對話的疑問:如果提問者正在學習正則表達式,或者環境裡確實不能引入解析器,執意把他引向另一種工具,就會錯過真正的約束。XYBench 刻意挑選含有誤解的問題,也給裁判提供目標標註;這個設計適合查出模型什麼時候隨錯了方向,卻不能告訴我們一味糾正用戶會誤傷多少正常請求。論文、數據和代碼來自同一團隊,本文未復跑實驗,本次檢索也未找到獨立復現。
接下來值得做一組成對測試:保留同一個 XML 例子,只改一句背景,一題允許換工具,一題說明必須練習表達式。既記錄助手能否在前一題建議換路,也記錄它會不會在後一題忽略約束;若目標確實不明,再讓提問者回答一次澄清問題。只有連這樣的代價一起測量,我們才知道一個助手是在幫人少走彎路,還是僅僅學會了在每道題後面附上一種替代方案。
參考資料
- Ai2:XYBench 發佈說明與實驗對照
- ACL Anthology:EMNLP 正式論文,含表 2 和附錄
- arXiv:預印本與提交記錄
- 作者數據卡:子集、目標標註與人類答案字段
- 作者代碼倉庫:生成、選擇與評分規則
作者作品推廣
除了寫技術博客,我也在做一些讓日常更有條理的小工具,歡迎瞭解我獨立開發的兩款 App:
- 日常收支小記:記下收支,也給每一筆錢安排好去處。記錄日常賬目,安排預算與儲蓄目標。在 App Store 瞭解。
- 一事微光:從一件小事開始,讓今天多一點微光。按當下的時間和精力選擇行動,記錄完成後的感受與發現。在 App Store 瞭解。
更多技術文章和個人作品,歡迎來我的網站:zffjzz.top。也歡迎把使用感受告訴我,讓這些小工具慢慢變得更好。