家長拿著摺好的紙和孩子站在綠色校門前,院子對面還有一扇黃色的門

大模型研究爭議:AI 走進日常之後

封面為虛構的校園開放日場景。

週六早上,家長群裡有人問開放日從哪扇門進。你把通知貼給 AI,問“九點到校的家長從哪個門進”,它答東門。孩子拿過手機,另開一個對話,貼上同一份通知,問“家長九點到了學校,該走哪一扇門”,屏幕上卻出現了西門。兩邊的解釋都挺客氣,沿街多走一站路的卻是你。這個例子是虛構的。真遇到這件事,我會先翻通知找“九點”對應的入口,再把兩個問題和兩句結論並排放好。

這裡有幾個容易混在一起的變化。如果孩子其實問的是“九點半到”,通知又恰好規定九點一刻後改走西門,改口就有道理。如果孩子問“是不是不走西門”,答案裡的“是”也可能仍指向東門。真正值得追問的是,同一個人、同一份通知、同一到校時間,兩次回答還原成要走的門,怎麼指向了兩個地方?

怎樣看出一句話多帶進來一個條件

先試著給別人出一對題。把“家長九點從哪裡進校”改成“家長九點從哪個入口進校”,你很容易說出兩句都需要查通知的哪一行。再把後一句改成“九點哪扇門還開著”,事情就微妙了。門開著,可能是讓工作人員搬桌子。你可以知道它開著,仍然不知道家長能不能從這裡進。兩個疑問句共享了人們最容易注意到的詞,能用來判斷答案的證據卻有了差別。

這件事連專門研究改寫的人也得逐題處理。Alhetelah 和 Ahmad 用模型擬出兩百道意見題,每題再寫五種問法。一位作者逐條核驗意思是否保留,遇到歧義或偏移就調整或重新生成。論文報告,大約百分之七的自動改寫需要小幅人工調整。這個比例說的是製作題目的過程,並非模型答錯的比例。也因為核驗由一人完成,我們不知道換一位讀者,會在哪些題上畫出不同的界線。論文方法與表一

表一里就有一個值得停下來的例子。原題問是否贊成學生免費接受高等教育,一種改寫明確提到由公共資金負擔,並指定面向全體公民。設想一位讀者支持由私人獎學金支付所有學生的費用,同時對誰有資格獲得公共資助有另一套看法。她可以在兩道題裡選不同的答案,也能把理由講通。這是我對題目的閱讀,論文沒有訪問這樣一位讀者,也沒有證明實際的答案變化由這些詞引起。讀者能做的檢驗是試著補出一個具體情境,讓兩句話分別成立和不成立。真能補出來,就值得重新商量它們算不算同一題。原文表一

研究者讓五個模型面對固定的三個答項,要求只回答是、否或兩者皆非。看結果時,他們先看每一組問法中最常出現哪個回答,再算有多大比例的回答與它相同,最後跨題取平均。假如一種答法一直支持免費教育,它可以得到很高的一致性,即使它從來沒有說清楚經費來自哪裡。圖一里各模型的平均一致率都接近九成。這個數允許某一道題上出現相反的答覆,也沒有告訴我們學生、老師或納稅人會怎麼選。想知道真人怎樣理解那幾句話,需要另找一份真的請人作答的研究。方法第2.4節、圖一

上下兩對校門卡片,上排只改變對話氣泡,下排右卡多出一個時鐘

括號把每對要比較的問法放在一起。上排只換說法,下排補進到達時間。圖中沒有箭頭,兩排都是對照設計示意,不表示測量結果。

把“同意”翻回它指的那件事

Petersen 和同事設計的一組對照,很適合拿來想校門口的問題。他們用英文寫成的保險情境,請人讀完一小段故事,判斷一條規定是否適用於主人公。這是讀句子、判含義的任務。只看他們怎樣出題就夠了,無須懂保險,也不能用這些作答替現實中的任何人判斷能否獲賠。原文方法與表一

比如表一的車裡壞了一件東西。保單提到車和車內的音響設備。一版壞的是工作用筆記本電腦,一版壞的是隨身帶的藍牙音箱,還有一版壞的是車載音響。讀者原先在猶豫隨身音箱算不算,聽說壞的是車載音響,完全有理由重新判斷。研究者隨後把同一件物品留在車內,只換最後那句要人表態的話。一種請你判斷“在保障範圍內”,另一種請你判斷“不在保障範圍內”。他們還調換了同意、不同意兩個選項的先後。原文表一

我最想保留的就是這一步。按按鈕的人如果前一次選了“同意”,後一次選“不同意”,兩次都可以指向“在範圍內”。要是隻抄下按鈕上的字,就會把忠實於原意的人記成改了主意。反過來,兩次都按同意,看上去整齊,實際判斷卻徹底翻轉。把每一份回答先譯回“在範圍內”或“不在範圍內”,才有辦法看清,換的是物品、問題的正反,還是手指下面那個按鈕的位置。原文第4節、圖一

這項實驗有四十六則故事。每則各有三種內容、兩種正反問法、兩種選項順序,合起來是五百五十二種題面。美國線上招募的三百人各做六題,剔除十二位用時不足兩分鐘的參與者,最後分析二百八十八人的作答。五組模型設置則各做全部題面。人的結果是分散在許多人身上的判斷,不能讀成研究者讓每個人把同一道題反覆做十二遍,觀察誰前後矛盾。模型與人看到的選項呈現方式也略有不同。原文方法、表一

在這批人的回答裡,故事內容改變時,判斷隨之改變。統計檢驗沒有檢出正反表述或選項次序對人群判斷的顯著影響。三組未啟用推理的模型設置則都出現了正反表述效應。還有個比換品牌更有意思的比較,同一個 GPT-5.2 換到中等推理強度後,研究者沒有檢出那個正反表述效應,模型仍會隨故事的實質內容而改變判斷。不過,在論文圖四的一個情境版本上,答題的十三個人都選擇了適用。彙總五組模型設置與正反、次序組合,二十次模型回答裡有十三次選擇了不適用。兩處“十三”的單位不同。前者數人,後者數模型在不同題面下的輸出。回答變得穩定以後,仍得單獨問它穩定地站在了哪裡。原文圖一、圖四與第4.5節

有時變的是批答案的那把尺

再回到門口。假設第一次的回答是“去東門”,第二次是“從東側入口進”。人看地圖知道那是同一扇門,一張只收“東門”兩個字的登記表卻可能把第二份判成錯。還有一種剛好相反的情形,兩個回答都出現了“東門”,其中一個說的是“東門只供離校”。只要找得到兩個相同的字就算答對,也會把真正能讓人走錯路的差別抹掉。

Hua 和同事沿著判卷這一步往回查。他們在六套題上比較十二種提示模板,用多種辦法判模型給出的回答。遇到只能認固定寫法的判分程序,同義的回覆可能丟分。改用能參照標準答案判讀含義的模型後,一些任務上不同模板造成的分數波動變小。有個有意思的例外,數學題的程序本就會化簡式子、檢查等價,換判分辦法看到的波動就相近。能否識別這道題允許的不同表達,比簡單地區分誰用機器判、誰用規則判,更貼近問題。原文第3節

他們也請人來判卷。在每套題裡抽五十題,每題看一個指定模型在十二種模板下的回答,人用參考答案逐份判對錯。六組彙總,百分之七十三的題在十二種模板下得到完全一致的對錯判定。十二次全錯也符合這個標準。這個結果尤其適合提醒做作業的孩子,要查“答案改了沒有”,最好在紙上先寫清楚你關心哪一種改變。兩個不同的錯誤會得到同樣的紅叉,而“二分之一”和“零點五”明明長得很不一樣,卻可以同時拿到一個對勾。論文裡這批人做的是批卷,在前一個實驗里人做的是答題。這兩個位置提供了不同的參照。原文第4節、表三

留三張便條,就能看見分歧在哪裡

下面是一個可以立即試的紙上對照,本文沒有運行。先寫一條自擬通知:“開放日家長九點一刻前到校請從東門進,九點一刻起請走西門。”寫三張便條,第一張問“家長九點到校,從哪扇門進”,第二張問“九點到校的家長應走哪個入口”,第三張只把第二張的到校時間改成九點半。三張都附同一份通知,先在背面寫好你據以判斷的那幾個字,再請另一位讀者獨立圈出時間和入口。倘若你們讀出的條件都不同,就先談哪一個詞容得下兩種理解。

若要讓模型也做,把每一張單獨放進新對話,保留原答。可以先原樣再問一次第一張,看看連文字都沒改時會不會改口。記錄時給每份回覆留兩欄,一欄寫“照做會走到哪扇門”,另一欄抄“它依據的通知原句”。遇到同時給出兩扇門的回覆,看看它是否把時間段交代清楚。它若追問到校時間,可把“追問”單獨記下。這樣就不必為了湊成兩個選項,把一次澄清硬算成一次選錯。

紙上的預期很具體。頭兩張應把九點到校的人帶去同一處。第三張的時間越過界線,仍舊堅持走同一扇門才值得查。如果連第一張原樣重複都給出不同入口,僅憑第一次和第二次的差別就難以把原因歸給改寫。如果改寫後仍走東門卻引用了下午離校的條款,路線暫時一致,理由已經出了問題。把這兩欄拿給孩子看,他可以指出錯在通知的哪一行,無須猜測模型心裡怎麼想。

還有個辦法能幫寫通知的老師看出問題。把原句裡的“九點一刻起”蓋住,只給人看前半句,再問第三張便條。此時能確定的只有九點半已經晚於前半句規定的時段。要斷定西門可以進,還差後半句。若讀者願意在證據空缺時留下一個問號,這個問號就標出了通知最值得補寫的位置。同樣的做法也能拿來核對一份回答裡多出來的細節。

三份研究沒有觀察中文家長群,也沒有統計多少家庭因此走錯路。一條通知上找得到原句,另一些真實通知偏偏漏掉了“家長”或“九點以後”的安排。遇上後一種情況,在群裡問老師“九點半到的家長也從東門進嗎”,比反覆改寫同一句疑問更能補齊證據。等新通知來了,再改變答案,恰好是我們希望讀者和模型都能做到的事。

參考資料

  • Bushra Alhetelah、Irfan Ahmad,2026。Measuring LLMs’ Sensitivity to Paraphrased Opinion Prompts,WASSA 2026 工作坊正式論文。原文
  • Dawson Petersen、Abhishek Purushothama、Nathan Schneider,2026。Sense and Sensitivity: “Reasoning” Models are More Robust, but can Diverge from Human Consensus in a Legal Interpretation Task,CoNLL 2026 正式論文。原文
  • Andong Hua、Kenan Tang、Chenhe Gu、Jindong Gu、Eric Wong、Yao Qin,2025。Flaw or Artifact? Rethinking Prompt Sensitivity in Evaluating LLMs,EMNLP 2025 主會正式論文。原文

作者作品推廣

除了寫技術博客,我也在做一些讓日常更有條理的小工具,歡迎瞭解我獨立開發的兩款 App:

  • 日常收支小記:記下收支,也給每一筆錢安排好去處。記錄日常賬目,安排預算與儲蓄目標。在 App Store 瞭解。
  • 一事微光:從一件小事開始,讓今天多一點微光。按當下的時間和精力選擇行動,記錄完成後的感受與發現。在 App Store 瞭解。

更多技術文章和個人作品,歡迎來我的網站:zffjzz.top。也歡迎把使用感受告訴我,讓這些小工具慢慢變得更好。