
大模型研究爭議:AI 走進日常之後
假設你在幫孩子校對一張校園開放日海報。孩子用 AI 搜索查了校圖書館的自習室,準備印上“週末向所有居民開放”。你點開句尾的鏈接,確實是學校網站,照片裡甚至就是那間自習室。手指已經移到打印鍵上,旁邊的老師卻問了一句:“我爸爸星期天拿身份證去,也能進嗎?”你再低頭看,通知裡寫的是“本週六,持預約碼的家長可入校參觀”。
這條鏈接值得留下。它讓你找到了誰發佈通知,也讓你看得出海報該改哪幾個字。麻煩出在從通知走到海報的那一步:“本週六”變成了“週末”,“預約家長”擴大到“所有居民”,“參觀”又換成了“自習”。三個變化中只要有一個關係到當天能否進門,就值得在付印前追問。找到原件、核准一句話、查清有沒有會改變決定的例外,各有各的做法。
先看看腳註究竟接在哪一句上
仍用這張虛構的海報。假如鏈接點進去是圖書館首頁,你只能確認這所學校設有圖書館。沿著首頁找到了開放日通知,才能把通知的對象、日期和活動與海報對上。假如通知藏在附件裡,搜索頁只露出一行“面向公眾開放”,請把這行字前後的內容一起讀完。它前面可能寫著活動名稱,後面可能緊跟預約條件。要引用哪份材料,取決於哪一份真的說出了你要告訴別人的事。
有兩種情況,從搜索界面上幾乎看不出區別。一種是答案概括得準確,腳註給讀者留了一條直達原文的路,省去了翻目錄的時間。另一種是檢索確實找到了相關網頁,回答也用上了其中一部分信息,卻在歸納時補上了原文沒有的範圍。兩種回答都可能給出同一個藍色鏈接。區分它們,要把主語和謂語帶回原文讀一遍,特別留心“都”“可以”“已經”“長期”這種字眼。刪掉它,讀者打算做的事會變嗎?會變,它就是需要單獨找依據的內容。
一項對生成式搜索的早期審計,很適合拿來練這個動作。Nelson F. Liu 等人在二〇二三年二月底到三月底採集了四種搜索系統的首輪完整回答,題目有歷史搜索查詢,也有當時剛貼到論壇的問題。研究團隊請經過篩選的標註員讀回答、看被引網頁。標註員先圈出需要核實的陳述,再判斷句旁的引文合起來能否支撐整句話。問候語可以跳過,關於外部世界的陳述,即使聽起來像常識,也要核對。研究方法與標註規則,見第 2、3 節
這項研究報了兩個很容易被寫反的數字。先從答案往外查,所有需要核實的陳述中,引文足以支撐整句的比例,四個系統平均為 51.5%。再從腳註往回查,在已經給出的引用中,按論文規則對所掛句子提供支持的比例,平均為 74.5%。前一個數允許你發現一句根本沒有腳註的話,後一個數允許你揪出掛錯地方的鏈接。它們的分母分別是陳述和引用。這兩個平均數都無法告訴你今天隨手問一句中文,得到真話的概率有多大。第 4.2 節及附錄 G 表 7、8
一句話也可能需要兩份證據。比如海報拆成“週六可以參觀,進館要預約”,開放日公告給日期,預約須知給條件,兩份合讀可以夠用。反過來,把開放日公告、公告的轉載和一張校園風景照全掛在“居民可以進館自習”後面,依舊找不到“自習”這兩個字的依據。論文的計分規則專門給互相補足的部分支持留了位置。放到日常寫作裡,可以用更樸素的辦法:把每個鏈接移到它確實管得到的半句話後面,看看剩下的詞還有誰負責。圖 2 及第 2.4 節
把第二份通知擺上桌
對這張海報最能改變判斷的一項對照,是先把同一份週末開放通知交給兩個人,再只給其中一人看同一活動的補充通知。設想原通知確實寫著“週末可預約自習”,補充通知卻寫“本週日因布展暫停”。只讀第一份的人能逐字指給你看,引用也放對了位置。拿著兩份的人在回答“這週日能去嗎”時,卻得換一個答案。前一種檢查始終沿著已經給出的引文走,它不會自動帶你找到遺漏的第二份。這是一個未執行的對照設想,差別在讀到的材料。

圖示從左到右為打開原件、逐項比對、在更多材料裡找例外。各格並列,無箭頭;標本數量僅用於示意,不代表研究結果。
真實網頁裡的分歧,有時也只藏在一個名詞裡。Alexander Wan 等人的論文列了一道有關珊瑚蛇分佈的問題。一段材料把舊大陸和新大陸的類群分開說,另一段講的是美國境內的分佈。如果只截下後一段,讀者很容易把局部範圍理解成全部範圍。這裡甚至不必判誰說了假話,先把問題中的動物名稱和原段落所指的類群對上,就能看出兩段文字為什麼會把回答引向不同方向。論文表 4 的原始段落對照
為了讓分歧真的出現在輸入裡,作者把問題改寫成肯定和否定兩種說法去檢索,篩出持不同立場的網頁段落,再給模型一正一反兩段材料,讓它回答是或否。同一對段落前後調換,兩種順序都計入。表 2 列出的 238 道題、2208 個段落,是針對其中一個受測模型篩選後的規模。作者看的是,當一個段落遇到不同的相反段落時,模型多少次選了它所支持的答案。一個段落經常被選中,只說明它在這些配對裡容易左右模型的選擇。要判斷裡面的事實,還得追到採集記錄、定義或原始通知。第 3 節、表 2 和第 4.1 節
這個設計也解釋了為什麼不能拿這批題估算日常搜索有多大比例會遇到反例。研究者特意去找能形成衝突的材料,還把回答收束成二選一。你在圖書館門口真正關心的卻常常是第三種回答:“週六可以,週日須另查。”如果把這種有條件的回答也硬算成贊成或反對,就會丟掉對下一步行動最有用的部分。補找一份材料的目的,是問它會不會改寫某個條件。遇見一個相反說法,仍然要查發佈者有沒有權限定規則、日期是否適用、它有沒有在談同一件事。
寫了“仍有爭議”,還漏了什麼
另一類搜索問的原本就是意見。比如同學徵集“圖書館週末要不要向社區開放”的討論材料,搜出來一句“各方看法不一”。這句話哪怕引得準確,學生還是沒法拿它主持討論。附近居民關心能否預約,週末備考的學生關心座位數,值班老師關心誰來開門。這些都是本例中可以進一步採訪的問題。若把“目前是否開放”的事實題和“以後是否應當開放”的意見題放進一段搜索摘要,連應該找值班表還是找訪談記錄都會弄錯。
二〇二六年正式發表的 DebateQA 給這種差別安排了兩把尺子。研究者整理了 2941 道可爭論的問題,為同一題收集從不同角度出發的部分答案,經模型整理、人工核查,再作為參照。一把尺子看受測模型有沒有承認問題存在爭議,另一把衡量它的回答涵蓋這些參照觀點的程度。後一項由評估模型估計,數值較低代表在這項尺度上表現較好。讀者可以想像,一篇回答只要在開頭加上“關於此事尚有不同看法”,就已經改動了爭議提示,卻還沒有替任何一位持不同意見的人說出理由。第 3、4 節與表 1
作者還在隨機抽出的同一批 200 道測試題上,讓五個模型分別接受不同的答題要求。與基本提問相比,要求作更全面的回答後,表 3 中五個模型的兩項指標都向較好的方向移動。這裡改變的是給模型的指令,看的也是模型的答案。研究並沒有請學生讀完以後去發現漏引,也沒有測老師憑這些答案能不能主持一場更好的討論。參照觀點來自整理過的材料,覆蓋它們是可測的目標;互聯網上究竟還有哪些重要角度,光靠這張表無法列盡。第 5.3 節及表 3
回到校報編輯的桌子,題目類型決定要補什麼。若寫“週日能進門”,去找負責開門的人發佈的現行安排,一份寫清適用範圍的通知就可能解決問題。若寫“社區居民都支持開放”,翻到一位居民的支持意見,即便引得一字不差,也只夠寫這位居民怎麼想。再採訪一位反對者,可以讓讀者聽見一個遺漏的理由,卻仍算不出社區裡有多少人贊成。要寫比例,還須說明向誰徵詢、多少人回應、哪些人可能沒有機會回應。多列一個角度和多取得一份能回答原問題的證據,有時剛好是兩件事。
付印前,試著只改一句
下次用 AI 搜索準備一段要給別人看的材料,可以拿一張便籤做個小對照。這個辦法供你試用,本文沒有測試它的效果。先抄下如果寫錯最會耽誤人的那一句,圈出對象、時間和動作。在左半邊寫“我打算告訴別人什麼”,右半邊只抄原件中能支持它的一小段,留下標題和發佈者,方便另一個人按圖找到。哪一個圈在右邊找不到對應,就先把那個範圍寫小。暫時打不開原件,可以留一句“尚待核實”,等拿到材料再決定。
可以請一個沒看過搜索答案的人,只讀便籤右邊,再說說他會約誰、約哪一天、到校做什麼。如果他只能複述“家長週六參觀”,你左邊卻寫著“居民週末自習”,差異已經具體到能用鉛筆圈出來。若兩個人讀完都拿不準預約是否包括陪同人員,就把這個問題單列出來,別替通知補完。
最後換一個檢索目標。沿用同一個機構名、活動名和日期,去找“調整”“暫停”或“適用對象”,也可以直接看主辦方同期的通知目錄。把搜過的地方記在便籤背面。若出現較新的安排,核對它管的是同一活動還是隔壁場館;如果只找到舊通知,就寫明依據的是哪一天發佈的版本。這樣的記錄能交給下一位編輯接著查,也給後來改正留了位置。有限的一次搜索,無論找回幾條鏈接,都很難證明所有反例已經找全。
孩子最後能印上去的,也許只有一句:“持預約碼的家長本週六可入校參觀。”它比最初的海報短,讀者卻知道了自己需要做什麼。至於老師的爸爸能不能在星期天去自習,這份通知還沒有回答。把那個問號留給真正能回答的人,比再給句尾加一枚腳註更有用。
參考資料
- Nelson F. Liu、Tianyi Zhang、Percy Liang,2023。Evaluating Verifiability in Generative Search Engines。Findings of EMNLP 正式論文。全文
- Alexander Wan、Eric Wallace、Dan Klein,2024。What Evidence Do Language Models Find Convincing? ACL 長文,正式發表。全文
- Rongwu Xu、Xuan Qi、Zehan Qi、Wei Xu、Zhijiang Guo,2026。DebateQA: Evaluating Question Answering on Debatable Knowledge。Findings of EACL 正式論文。全文
作者作品推廣
除了寫技術博客,我也在做一些讓日常更有條理的小工具,歡迎瞭解我獨立開發的兩款 App:
- 日常收支小記:記下收支,也給每一筆錢安排好去處。記錄日常賬目,安排預算與儲蓄目標。在 App Store 瞭解。
- 一事微光:從一件小事開始,讓今天多一點微光。按當下的時間和精力選擇行動,記錄完成後的感受與發現。在 App Store 瞭解。
更多技術文章和個人作品,歡迎來我的網站:zffjzz.top。也歡迎把使用感受告訴我,讓這些小工具慢慢變得更好。