
大模型研究争议:AI 走进日常之后
假设你在帮孩子校对一张校园开放日海报。孩子用 AI 搜索查了校图书馆的自习室,准备印上“周末向所有居民开放”。你点开句尾的链接,确实是学校网站,照片里甚至就是那间自习室。手指已经移到打印键上,旁边的老师却问了一句:“我爸爸星期天拿身份证去,也能进吗?”你再低头看,通知里写的是“本周六,持预约码的家长可入校参观”。
这条链接值得留下。它让你找到了谁发布通知,也让你看得出海报该改哪几个字。麻烦出在从通知走到海报的那一步:“本周六”变成了“周末”,“预约家长”扩大到“所有居民”,“参观”又换成了“自习”。三个变化中只要有一个关系到当天能否进门,就值得在付印前追问。找到原件、核准一句话、查清有没有会改变决定的例外,各有各的做法。
先看看脚注究竟接在哪一句上
仍用这张虚构的海报。假如链接点进去是图书馆首页,你只能确认这所学校设有图书馆。沿着首页找到了开放日通知,才能把通知的对象、日期和活动与海报对上。假如通知藏在附件里,搜索页只露出一行“面向公众开放”,请把这行字前后的内容一起读完。它前面可能写着活动名称,后面可能紧跟预约条件。要引用哪份材料,取决于哪一份真的说出了你要告诉别人的事。
有两种情况,从搜索界面上几乎看不出区别。一种是答案概括得准确,脚注给读者留了一条直达原文的路,省去了翻目录的时间。另一种是检索确实找到了相关网页,回答也用上了其中一部分信息,却在归纳时补上了原文没有的范围。两种回答都可能给出同一个蓝色链接。区分它们,要把主语和谓语带回原文读一遍,特别留心“都”“可以”“已经”“长期”这种字眼。删掉它,读者打算做的事会变吗?会变,它就是需要单独找依据的内容。
一项对生成式搜索的早期审计,很适合拿来练这个动作。Nelson F. Liu 等人在二〇二三年二月底到三月底采集了四种搜索系统的首轮完整回答,题目有历史搜索查询,也有当时刚贴到论坛的问题。研究团队请经过筛选的标注员读回答、看被引网页。标注员先圈出需要核实的陈述,再判断句旁的引文合起来能否支撑整句话。问候语可以跳过,关于外部世界的陈述,即使听起来像常识,也要核对。研究方法与标注规则,见第 2、3 节
这项研究报了两个很容易被写反的数字。先从答案往外查,所有需要核实的陈述中,引文足以支撑整句的比例,四个系统平均为 51.5%。再从脚注往回查,在已经给出的引用中,按论文规则对所挂句子提供支持的比例,平均为 74.5%。前一个数允许你发现一句根本没有脚注的话,后一个数允许你揪出挂错地方的链接。它们的分母分别是陈述和引用。这两个平均数都无法告诉你今天随手问一句中文,得到真话的概率有多大。第 4.2 节及附录 G 表 7、8
一句话也可能需要两份证据。比如海报拆成“周六可以参观,进馆要预约”,开放日公告给日期,预约须知给条件,两份合读可以够用。反过来,把开放日公告、公告的转载和一张校园风景照全挂在“居民可以进馆自习”后面,依旧找不到“自习”这两个字的依据。论文的计分规则专门给互相补足的部分支持留了位置。放到日常写作里,可以用更朴素的办法:把每个链接移到它确实管得到的半句话后面,看看剩下的词还有谁负责。图 2 及第 2.4 节
把第二份通知摆上桌
对这张海报最能改变判断的一项对照,是先把同一份周末开放通知交给两个人,再只给其中一人看同一活动的补充通知。设想原通知确实写着“周末可预约自习”,补充通知却写“本周日因布展暂停”。只读第一份的人能逐字指给你看,引用也放对了位置。拿着两份的人在回答“这周日能去吗”时,却得换一个答案。前一种检查始终沿着已经给出的引文走,它不会自动带你找到遗漏的第二份。这是一个未执行的对照设想,差别在读到的材料。

图示从左到右为打开原件、逐项比对、在更多材料里找例外。各格并列,无箭头;标本数量仅用于示意,不代表研究结果。
真实网页里的分歧,有时也只藏在一个名词里。Alexander Wan 等人的论文列了一道有关珊瑚蛇分布的问题。一段材料把旧大陆和新大陆的类群分开说,另一段讲的是美国境内的分布。如果只截下后一段,读者很容易把局部范围理解成全部范围。这里甚至不必判谁说了假话,先把问题中的动物名称和原段落所指的类群对上,就能看出两段文字为什么会把回答引向不同方向。论文表 4 的原始段落对照
为了让分歧真的出现在输入里,作者把问题改写成肯定和否定两种说法去检索,筛出持不同立场的网页段落,再给模型一正一反两段材料,让它回答是或否。同一对段落前后调换,两种顺序都计入。表 2 列出的 238 道题、2208 个段落,是针对其中一个受测模型筛选后的规模。作者看的是,当一个段落遇到不同的相反段落时,模型多少次选了它所支持的答案。一个段落经常被选中,只说明它在这些配对里容易左右模型的选择。要判断里面的事实,还得追到采集记录、定义或原始通知。第 3 节、表 2 和第 4.1 节
这个设计也解释了为什么不能拿这批题估算日常搜索有多大比例会遇到反例。研究者特意去找能形成冲突的材料,还把回答收束成二选一。你在图书馆门口真正关心的却常常是第三种回答:“周六可以,周日须另查。”如果把这种有条件的回答也硬算成赞成或反对,就会丢掉对下一步行动最有用的部分。补找一份材料的目的,是问它会不会改写某个条件。遇见一个相反说法,仍然要查发布者有没有权限定规则、日期是否适用、它有没有在谈同一件事。
写了“仍有争议”,还漏了什么
另一类搜索问的原本就是意见。比如同学征集“图书馆周末要不要向社区开放”的讨论材料,搜出来一句“各方看法不一”。这句话哪怕引得准确,学生还是没法拿它主持讨论。附近居民关心能否预约,周末备考的学生关心座位数,值班老师关心谁来开门。这些都是本例中可以进一步采访的问题。若把“目前是否开放”的事实题和“以后是否应当开放”的意见题放进一段搜索摘要,连应该找值班表还是找访谈记录都会弄错。
二〇二六年正式发表的 DebateQA 给这种差别安排了两把尺子。研究者整理了 2941 道可争论的问题,为同一题收集从不同角度出发的部分答案,经模型整理、人工核查,再作为参照。一把尺子看受测模型有没有承认问题存在争议,另一把衡量它的回答涵盖这些参照观点的程度。后一项由评估模型估计,数值较低代表在这项尺度上表现较好。读者可以想象,一篇回答只要在开头加上“关于此事尚有不同看法”,就已经改动了争议提示,却还没有替任何一位持不同意见的人说出理由。第 3、4 节与表 1
作者还在随机抽出的同一批 200 道测试题上,让五个模型分别接受不同的答题要求。与基本提问相比,要求作更全面的回答后,表 3 中五个模型的两项指标都向较好的方向移动。这里改变的是给模型的指令,看的也是模型的答案。研究并没有请学生读完以后去发现漏引,也没有测老师凭这些答案能不能主持一场更好的讨论。参照观点来自整理过的材料,覆盖它们是可测的目标;互联网上究竟还有哪些重要角度,光靠这张表无法列尽。第 5.3 节及表 3
回到校报编辑的桌子,题目类型决定要补什么。若写“周日能进门”,去找负责开门的人发布的现行安排,一份写清适用范围的通知就可能解决问题。若写“社区居民都支持开放”,翻到一位居民的支持意见,即便引得一字不差,也只够写这位居民怎么想。再采访一位反对者,可以让读者听见一个遗漏的理由,却仍算不出社区里有多少人赞成。要写比例,还须说明向谁征询、多少人回应、哪些人可能没有机会回应。多列一个角度和多取得一份能回答原问题的证据,有时刚好是两件事。
付印前,试着只改一句
下次用 AI 搜索准备一段要给别人看的材料,可以拿一张便签做个小对照。这个办法供你试用,本文没有测试它的效果。先抄下如果写错最会耽误人的那一句,圈出对象、时间和动作。在左半边写“我打算告诉别人什么”,右半边只抄原件中能支持它的一小段,留下标题和发布者,方便另一个人按图找到。哪一个圈在右边找不到对应,就先把那个范围写小。暂时打不开原件,可以留一句“尚待核实”,等拿到材料再决定。
可以请一个没看过搜索答案的人,只读便签右边,再说说他会约谁、约哪一天、到校做什么。如果他只能复述“家长周六参观”,你左边却写着“居民周末自习”,差异已经具体到能用铅笔圈出来。若两个人读完都拿不准预约是否包括陪同人员,就把这个问题单列出来,别替通知补完。
最后换一个检索目标。沿用同一个机构名、活动名和日期,去找“调整”“暂停”或“适用对象”,也可以直接看主办方同期的通知目录。把搜过的地方记在便签背面。若出现较新的安排,核对它管的是同一活动还是隔壁场馆;如果只找到旧通知,就写明依据的是哪一天发布的版本。这样的记录能交给下一位编辑接着查,也给后来改正留了位置。有限的一次搜索,无论找回几条链接,都很难证明所有反例已经找全。
孩子最后能印上去的,也许只有一句:“持预约码的家长本周六可入校参观。”它比最初的海报短,读者却知道了自己需要做什么。至于老师的爸爸能不能在星期天去自习,这份通知还没有回答。把那个问号留给真正能回答的人,比再给句尾加一枚脚注更有用。
参考资料
- Nelson F. Liu、Tianyi Zhang、Percy Liang,2023。Evaluating Verifiability in Generative Search Engines。Findings of EMNLP 正式论文。全文
- Alexander Wan、Eric Wallace、Dan Klein,2024。What Evidence Do Language Models Find Convincing? ACL 长文,正式发表。全文
- Rongwu Xu、Xuan Qi、Zehan Qi、Wei Xu、Zhijiang Guo,2026。DebateQA: Evaluating Question Answering on Debatable Knowledge。Findings of EACL 正式论文。全文
作者作品推广
除了写技术博客,我也在做一些让日常更有条理的小工具,欢迎了解我独立开发的两款 App:
- 日常收支小记:记下收支,也给每一笔钱安排好去处。记录日常账目,安排预算与储蓄目标。在 App Store 了解。
- 一事微光:从一件小事开始,让今天多一点微光。按当下的时间和精力选择行动,记录完成后的感受与发现。在 App Store 了解。
更多技术文章和个人作品,欢迎来我的网站:zffjzz.top。也欢迎把使用感受告诉我,让这些小工具慢慢变得更好。