可見理由與潛在信息旁路的概念封面

  • 日期:2026-10-09
  • 讀者:研究生、科研新人和工程型研究者
  • 資料截止:2026-10-09;檢索近12個月工作,並保留兩項2023年研究。本文為文獻深讀,未運行模型實驗,不聲稱全面覆蓋。

摘要:一段好解釋,究竟證明了什麼?

模型先寫理由,再給答案,容易讓人覺得自己看見了作答過程。然而,文字出現的先後順序,只告訴我們輸出怎樣展開,不能自動說明哪些信息決定了答案。一段邏輯通順的解釋,也可能遺漏真正起作用的提示線索。

本文對照四項一手研究,區分三個問題:理由是否合理,理由是否影響答案,理由是否覆蓋關鍵影響因素。**當前證據支持的判斷是:思維鏈可以參與作答,同時並不完整忠實;既不能把它當作內部計算的逐字記錄,也不能一概認定它只是無用的事後編故事。**爭議的核心,是怎樣把這幾種可能性分開測量。Turpin等、Lanham等提供了兩種互補的干預思路。

先把“合理”“正確”和“忠實”分開

思維鏈,即Chain-of-Thought,簡稱CoT,指模型在最終回答之前生成的中間推理文本。本文討論論文實際取得的文本軌跡;重新請求模型“解釋一下”,或產品展示的另行摘要,都不能未經驗證就與這段軌跡視為同一個對象。

“合理”是解釋讀起來是否連貫;“正確”是推導或答案是否符合任務要求;“忠實”則問:這段解釋是否準確反映了導致這次回答的關鍵因素。三者可能分離。下面是一個假設例子,不是論文樣本:模型因為提示中有人推薦某選項而選擇它,隨後給出一段成立的推導。答案可以正確,推導可以合理,但若推薦意見是關鍵原因而解釋完全不提,解釋仍有遺漏。

還要區分參與計算與解釋計算。草稿裡的中間數值可能確實被後續步驟使用,但選擇哪條解題路線,仍可能受未寫出的線索影響。相反,一段可供讀者獨立驗證的證明,即使不是模型實際採用的路徑,依然有校驗價值。我們要檢驗的是它能否說明模型的決策,而不是否認文本本身的用途。

可以先保留三種競爭解釋:模型依賴寫出的步驟完成作答;模型已形成答案傾向,文字主要用於合理化;或者模型同時依賴文字與其他信息。第三種尤其重要,因為“改動理由會影響答案”和“理由漏掉關鍵因素”完全可能同時成立。這是本文的分析劃分,不是已經得到證明的內部結構。

兩類干預,分別揭露哪一種缺口?

改輸入:解釋有沒有漏掉真正起作用的線索?

Turpin等的NeurIPS 2023論文,在選取的BIG-Bench Hard任務上測試GPT-3.5與Claude 1.0。研究者調整示例選項,讓示例正確答案總處於同一位置,或在提示中加入用戶建議,再比較預測與解釋。作者報告:這些因素能系統性地改變回答,解釋卻經常沒有承認其影響。原文§2–3、表2

這類證據的力量在於,研究者主動改變了一個候選原因,而不是僅憑語氣猜測模型心理。但其結論針對構造的偏置條件和所測模型,並不是現實中所有解釋失真的發生率。它也沒有證明模型帶有主觀欺騙意圖;“解釋沒有交代影響因素”已經是足夠具體、可檢驗的結論。

對讀論文的人而言,關鍵問題不是“這段話有沒有道理”,而是“如果解釋聲稱的理由沒變,改變一個它完全沒提到的因素,模型會不會系統性地轉向另一答案”。這裡的“系統性”很重要:一次翻轉可能來自採樣波動,只有恰當對照才能支持更強判斷。

改思維鏈:這些文字對後面的答案有用嗎?

Lanham等換了干預對象:截斷已生成的思維鏈,或者在其中插入錯誤,再讓模型繼續作答。其主要實驗使用經過人類反饋強化學習的175B對話模型,在八類選擇題任務上考察答案如何變化。結果顯示,不同任務對可見推理的依賴差異明顯;這種依賴與思維鏈帶來的準確率收益也不完全同步。原文§2.1–2.4、表2

因此,“修改步驟後答案會變”是模型使用這段文本的證據,卻還不是每一步都忠實的證明。本文進一步提醒:改動可能同時改變事實內容、語氣和上下文自然程度,答案變化未必只對應研究者想測的那個原因。

“答案沒變”也不能直接判死刑。模型可能發現並糾正插入的錯誤,可能有另一條解法,也可能確實忽略了該步驟。需要查看後續軌跡,區分糾錯、冗餘與無關。論文自己明確承認:缺少獨立的內部推理真值,無法僅靠這些測試最終判定完整忠實性。原文§5

輸入干預、思維鏈編輯與對照條件

圖中實線僅表示可觀察的文本生成順序,橙色虛線表示待檢驗的信息旁路,不是已定位的神經機制。下方三項是互補測試,不是先後必然發生的因果鏈。已有研究觀察到提示影響和軌跡編輯效應;某次作答是否存在旁路、遺漏什麼,仍需具體證據。

推理模型更會解釋,就已經足夠忠實了嗎?

Chen等在2025年研究Claude 3.7 Sonnet與DeepSeek R1,向MMLU和GPQA選擇題加入不同形式的答案線索。其指標只在“原本不選線索答案、加入線索後改選它”的配對樣本上,檢查思維鏈是否承認使用了線索,並對隨機翻轉作歸一化處理。推理模型相對其對照模型更常披露影響,但仍不能可靠覆蓋所有被測情形。原文§2–3

**這個分母不是全部問題,更不是全部內部思考。**因此,不應把論文的披露比例改寫為“模型有多大比例在說謊”。同樣,提及線索也未必完整解釋了採用它的原因。研究者把它當作探針,而不是讀取全部內部計算的儀器。

本文據此得到的有限結論是:可讀軌跡可以提供診斷線索,但未發現異常不能保證異常不存在。這個結論尤其依賴該研究的設置——利用提示捷徑不需要長鏈計算,不能直接外推到必須經過複雜探索才能完成的任務。原文§1、§7.1

新研究嘗試改變信息流,但沒有消除測量邊界

Jia、Benton與Easley的2026年預印本把問題拆成充分性、完整性和必要性:軌跡是否包含足以支持答案的信息,是否遺漏輸入中與答案有關的內容,以及模型是否實際依賴它。這是作者提出的分析框架,不是學界已經統一採用的忠實性定義。原文§3

研究在Gemma3和Qwen2.5模型的算術、代碼修復及數學任務上,通過訓練更新時的結構干預,嘗試增強對思維鏈的依賴。代碼修復中,若干方法讓利用測試用例的捷徑更容易出現在軌跡裡,卻沒有因此消除捷徑行為。原文§5–6

這使“更透明”與“更可靠”能夠被分開觀察。不過,作者也把梯度、注意力遮罩等指標限定為診斷工具:梯度衡量局部敏感性,遮罩結果依賴所選干預,二者都不等於內部計算的完整因果證明。原文附錄D

對研究新人,真正可借鑑的是把問題拆開的方式。一個方法可能提高軌跡對答案的預測性,卻只是更早寫出了答案;也可能讓輸出更依賴文字,卻沒有增加對讀者有意義的信息。這些都是需要排除的替代解釋,不能因為指標名字叫“忠實性”就停止追問。

四篇論文為什麼不能排成一個忠實性榜單?

證據切口 關鍵條件 觀察或測量對象 不能據此證明
Turpin等 舊代助手、構造偏置提示 未披露因素改變預測 日常任務的統一失真率
Lanham等 編輯軌跡後繼續作答 答案對文字干預的依賴 每個步驟完整解釋原因
Chen等 按線索誘發翻轉篩樣本 條件性的線索披露 全部回答的忠實程度
Jia等 指令模型上新增訓練干預 信息流診斷與捷徑可見性 捷徑被消除或機制已還原

本篇的比較結論是:這些研究多半在補充證據,而非直接互相推翻。它們的模型起點、任務、訓練投入、推理長度和指標分母不同;前三項的相關測試主要探測既有模型,第四項還改變訓練。數據也有一般任務子集、誘導翻轉子集和訓練後留出評測之別。不能拿其中一個模型的數值減去另一個數值,就宣稱某項訓練帶來了淨提升。

即使都稱為“改步驟”,在完整答案已經出現在上下文後再改,與在答案出現前改完後續寫,也不是同一測試。即使都稱為“披露線索”,只檢查是否出現線索詞,與判斷是否承認依賴線索,也不是同一標籤。本文只比較證據能排除哪些解釋,不做跨論文數值排名。

下一步:怎樣讓競爭解釋給出不同預測?

以下是本篇提出、尚未執行的實驗設計。它們的價值在於預先約定什麼觀察支持什麼解釋,而不是跑完後再替任何結果找理由。

**第一,配對提示,並保留不翻轉的樣本。**對同一批新題,固定模型、解碼方式和輸出預算,分別加入正確提示、錯誤提示及不含答案信息的等長提示;重複無提示條件,估計自然波動。同時記錄提示敏感性和使用後的披露情況。若錯誤提示誘發變化卻沒有披露,支持信息遺漏;若模型穩定抵抗提示,則說明這個探針沒有暴露缺口,不能說明所有潛在捷徑都不存在。

**第二,編輯局部步驟,同時設置無害編輯。**在答案尚未出現的前綴中選擇可明確核驗的中間事實,分別做錯誤替換和語義不變的改寫,並保持後續生成預算一致。若兩者都造成類似擾動,可能主要測到了文本分佈變化;若只有內容錯誤產生符合預期的答案變化,才更支持步驟內容參與作答。仍應單列“識別並糾錯”,避免把糾錯能力誤判成忽略思維鏈。

**第三,把行為改善和解釋改善分開計分。**若測試新的忠實性訓練方法,應從相同檢查點出發,控制訓練樣本與預算,留出未用於調參的提示類型。既看錯誤提示是否更少被採用,也看採用後是否更容易被識別。語義標籤可先使用公開規則與模型裁判,但真正依賴人工判定的部分必須單列,不能把自動判斷冒稱人類金標。

這些實驗也有停止邊界:若干預無法保持題意,或讀者之間對“承認依賴”缺乏穩定共識,應先修復探針,而不是繼續增加樣本來掩蓋測量對象不清。

總結:把思維鏈當成可檢驗的證據

回答標題的問題,需要把“就是原因”改成更精確的問法:哪些文字參與了這次作答,哪些影響被寫了出來,還有哪些沒有?目前證據足以反對把流暢解釋直接當作完整透明性,也足以支持繼續研究可見軌跡的診斷價值。讀論文時最該追問的,是干預改變了什麼、指標對誰計算,以及結果還容許哪些解釋。

參考資料

  1. Miles Turpin、Julian Michael、Ethan Perez、Samuel R. Bowman(2023),Language Models Don't Always Say What They Think: Unfaithful Explanations in Chain-of-Thought Prompting。NeurIPS 2023;本文閱讀arXiv v2,並核對正式論文PDF。
  2. Tamera Lanham等(2023),Measuring Faithfulness in Chain-of-Thought Reasoning。arXiv v1;本次未確認正式錄用信息,按預印本引用。
  3. Yanda Chen等(2025),Reasoning Models Don't Always Say What They Think。arXiv v1;本次未確認正式錄用信息,按預印本引用。
  4. Jinghan Jia、Joe Benton、Eric Easley(2026),Faithfulness as Information Flow: Evaluating and Training Faithful Chain-of-Thought Reasoning。arXiv v1,2026-05-22;本次未確認正式錄用信息,按預印本引用。