AI 前沿观察|解读日期:2026 年 11 月 15 日|资料截止:北京时间 20:31:02
有人问:怎样用正则表达式从 XML 文件里提取数据?助手写出一段能匹配示例的表达式,又在末尾提醒了一句,其实可以用解析器。该不该给这个答案打高分?11 月 13 日,Ai2 介绍了 XYBench。在它收集的 Stack Overflow 问题上,GPT-5 的回答比论坛最高票回答更常提到能解决根本问题的办法;但如果看整篇回答主要建议用户怎么做,两者的位置就倒了过来。这一区别关系到我们怎样给一个看似面面俱到的助手判分。

原创示意图:用户问的是怎样使锤,手头要做的却可能是把螺钉拧紧。
一道题里,藏着两个请求
沿用论文的例子,提问者想从 XML 中拿到数据,这是目标 X;他认定要用正则表达式,只问表达式怎样写,这是手段 Y。假如输入换一个层级,原先能匹配的式子可能就失效。回答者要决定的是:继续完善这个式子,还是先解释文件本身有结构,建议按节点读取?两种办法都可以占据回答的一行,却会把读者带去做很不一样的事。
Akhila Yerukola 等人的预印本在 9 月 6 日(UTC)已经提交,论文收入 10 月的 EMNLP 2026 主会论文集。11 月的机构公告给出了阅读这些结果的入口。研究者收集或构造了 8,115 条带误解的提问,其中 1,557 条来自 Stack Overflow,184 条来自其他 Stack Exchange 社区,102 条由团队人工选编,另有 6,268 条依据 WikiHow 文章构造。最后一类规模最大,却没有对应的人类参考回答。把整套题都称为真实用户对话,或者拿全部题目作为人机对照的分母,都会读错这项研究。数据卡保留了区分这些来源的字段。
只换一个评分问题,比较结果就反过来
在单轮自由作答中,每个模型对每题答一次。看论文表 2的 Stack Overflow 部分:GPT-5 有 71% 的回答至少给出了一种通向目标 X 的做法,人类最高票回答为 67%。若评测只搜寻预期建议有没有出现,前者看起来略占上风。但问到整篇回答是否把 X 当成重点,GPT-5 变成 41%,最高票回答是 55%。这里的百分比都指各组回答所占比例;最高票指社区投票,并非提问者标记为采纳。
两列相差的那部分,正是只检查关键词容易放过去的回答。设想助手用五段讲怎样修改表达式,最后用一行说也可考虑解析器。它确实给了另一条路,却把可复制的代码、调试步骤和大部分篇幅都留给了原先的路。读者若只照着操作,可能仍要回来问下一种输入怎么处理。这个例子解释了为什么要评回答的重心;实验没有跟踪任何一位读者最终采用了哪条建议。反过来,一篇只用三句话讲清为什么要改用解析器的回答,可能在覆盖的选项上吃亏,却给出了更清楚的下一步。
把目标明说,模型也未必会劝人换办法
一种解释是,模型只是没猜中意图。于是作者做了一个对照:除了原问题,还把表面请求和预设的真实目标一起交给模型。在同一编程子集上,Claude Sonnet 4.6 给出目标解法的比例从 59% 升到 67%,可按评测规则成功指出或避开误区、引向目标的比例却从 47% 降为 34%。多给了一条线索,回答更可能添上一种解法,却未必更愿意舍弃不合适的那一种。团队公告分别列出了这两个指标。
另一组实验反过来,请模型在两份现成答复中选较有帮助的一份。五个主评模型加上 GPT-4.1,在该子集上选择面向根本目标的答复的比例为 71% 至 84%。选项已经替答题者写出了误解在哪里、下一步能怎么做。因而这组数能说明模型常能认出这样的建议,不能当作它在空白输入框前也会主动写出来的概率。评测仓库把选择题和自由生成分成了两个入口。
哪些时候,助手反而应该先问一句?
主实验用 Claude Sonnet 4.5 作裁判。作者让两名评阅者各自评估 500 份回答,按评阅者取平均,与自动裁判对「解法是否出现」的一致率为 97.5% 至 100%,对「回答重心在哪里」则为 74.2% 至 79.8%。后一个问题最能揭示人机差异,恰好也是人和裁判更容易意见不同的地方。把几个百分点的差距拿来给相邻模型排座次,证据没有看起来那么精细。核对口径见原始说明。
还有一个面向实际对话的疑问:如果提问者正在学习正则表达式,或者环境里确实不能引入解析器,执意把他引向另一种工具,就会错过真正的约束。XYBench 刻意挑选含有误解的问题,也给裁判提供目标标注;这个设计适合查出模型什么时候随错了方向,却不能告诉我们一味纠正用户会误伤多少正常请求。论文、数据和代码来自同一团队,本文未复跑实验,本次检索也未找到独立复现。
接下来值得做一组成对测试:保留同一个 XML 例子,只改一句背景,一题允许换工具,一题说明必须练习表达式。既记录助手能否在前一题建议换路,也记录它会不会在后一题忽略约束;若目标确实不明,再让提问者回答一次澄清问题。只有连这样的代价一起测量,我们才知道一个助手是在帮人少走弯路,还是仅仅学会了在每道题后面附上一种替代方案。
参考资料
- Ai2:XYBench 发布说明与实验对照
- ACL Anthology:EMNLP 正式论文,含表 2 和附录
- arXiv:预印本与提交记录
- 作者数据卡:子集、目标标注与人类答案字段
- 作者代码仓库:生成、选择与评分规则
作者作品推广
除了写技术博客,我也在做一些让日常更有条理的小工具,欢迎了解我独立开发的两款 App:
- 日常收支小记:记下收支,也给每一笔钱安排好去处。记录日常账目,安排预算与储蓄目标。在 App Store 了解。
- 一事微光:从一件小事开始,让今天多一点微光。按当下的时间和精力选择行动,记录完成后的感受与发现。在 App Store 了解。
更多技术文章和个人作品,欢迎来我的网站:zffjzz.top。也欢迎把使用感受告诉我,让这些小工具慢慢变得更好。