封面

  • 日期:2026-11-02
  • 讀者:研究生、科研新人和工程型研究者
  • 資料截止:2026-11-02;重點檢索近12個月一手研究,不聲稱全面覆蓋。本文為論文深讀,未運行模型實驗。

摘要:說出了圖中對象,還缺哪一層證據?

模型回答“桌面上可以喝茶,因為有茶壺和杯子”,還把杯子的位置指出來。這樣的解釋比一句“可以”更容易檢查,但仍留下一個問題:杯子真影響了答案,還是模型決定答案後才找到了合適的說法?封面以茶具作概念插畫,並非論文樣本,也不是嚴格配對的實驗刺激。

本篇對照三項研究:逐句核對視覺描述、刪除對象觀察預測變化,以及用成對圖像檢查描述與判斷的一致性。**當前證據支持把視覺依據單獨評估;它還不支持把流暢解釋、正確定位或高答題分數當成內部推理透明的證明。**三篇論文並未形成簡單的贊成與反對陣營,主要差別是“忠實”究竟指哪一種關係。[1][2][3]

先把“可信”拆開

多模態思維鏈,是模型針對圖像與問題輸出的中間推理步驟;本文主要討論可見文字解釋,而不是所有內部計算。視覺落地,指一句描述能夠對應到圖中的對象、屬性或關係。行為忠實性則進一步追問:解釋強調的證據,是否與模型預測對輸入變化的反應相符。

這裡至少有三種可區分解釋。第一,模型使用了杯子這條證據,並在理由中準確報告。第二,模型確實看見杯子,卻主要依據其他線索作答,理由只是正確但不完整的場景描述。第三,模型錯誤感知或受到提示暗示,生成一條聽起來合理的理由。這三種情況都可能碰巧答對。

為便於理解,可以做一個尚未執行的思想實驗:保留茶壺,移走杯子,問題仍問“有沒有可直接使用的飲水容器”。如果模型堅持原答案,需要檢查它是否把茶壺也算容器,而不能立即宣佈它沒看圖。干預的含義必須由題目與標籤規則共同決定;讀者直覺中的“關鍵對象”,未必就是任務定義中的必要證據。

第一層:解釋裡的視覺陳述是真的嗎?

Uppaal等的《Journey Before Destination》把推理鏈分成感知步驟和推理步驟,僅對感知步驟判斷是否符合圖像,並用模型裁判統計不忠實感知率。作者還以人工標註比較裁判可靠性;這不等於裁判在任何任務都具有人工金標質量。1,§3與表1

這項研究在感知任務中使用同一基礎模型衍生的推理模型,並藉助外部檢測器定位問題步驟再生成。它報告視覺描述可以改善,但表4顯示,換用較弱檢測器後,描述指標變好也可能伴隨答題準確率下降。額外檢測與重寫還增加推理成本。因此,不能把結果表述為“模型只靠自己反思就更可靠”,也不能把感知句符合圖像等同於這些句子造成了答案。1,§5–7、表4與侷限

本篇的理解是:這一層適合回答“有沒有說錯圖”,而非“有沒有說全作答原因”。假如一段解釋只說“畫面裡有物體”,它可能很少出錯,卻幾乎沒有幫助。評價還應關心相關性、遺漏和信息量;否則刪掉具體細節也可能改善表面指標。這是對測量目標的分析,不是該論文已驗證的作弊實驗。

第二層:影響預測的對象,解釋提到了嗎?

Menzat等構造刪除單個對象的圖像對,分別詢問原圖與編輯圖,用候選答案概率的變化衡量干預影響,再判斷解釋是否提及被刪對象。其vCCT考察影響幅度與提及之間的相關性;vCT則只把“答案翻轉而未提及”計為失敗,因此不翻轉很多時容易得到高分。2,§3

在兩類任務、八個模型的比較中,先回答再解釋的vCCT高於先寫解釋再回答。這裡測的是特定提示下的可見解釋,不能外推為所有原生推理軌跡;概率也只在固定候選集合內歸一化。作者用不刪除對象的重建作為偽影對照,但編輯與提及識別仍會出錯。結果說明解釋順序會改變這個行為指標,不能證明事後解釋還原了內部計算。2,§3.3–4與表1

這個結果看似反直覺,其實暴露了兩個不同問題:“解釋能否預測哪些輸入變化會影響答案”和“答案是否依賴已經寫出的解釋”不是一回事。先答後解釋無法作為同一次已完成作答的前置步驟,卻仍可能描述相關輸入。反過來,先寫解釋也不保證每句話都是必要計算。

對研究者而言,刪除對象的價值在於主動改變證據。但變化大也可能來自畫面不自然、遮擋關係變化或候選答案失效。若移除唯一能回答問題的物體,卻強迫模型在原來的選項中選一個,測到的可能是無合適答案時的響應。此時應先判斷題目是否仍可回答,再解釋概率移動。

視覺依據的配對干預框架

圖:擬議的測量流程。原圖、保持內容的重建圖與刪除對象圖分別交給同一模型,再對照答案變化和證據提及。箭頭僅表示信息處理順序;虛線杯子標示被移除位置,不應出現在真實測試圖中。圖中沒有論文測量數值,也不表示已證明的因果機制。

第三層:看到了差異,能否穩定地說清楚?

Lv等的SPD-Faith Bench讓模型比較圖像對,區分是否發現變化、是否說對對象和變化類型,以及解釋和判斷是否自洽。其矛盾率針對“相同嗎”和“不同嗎”等對稱提問;描述對齊指標則評估解釋與視覺差異。論文報告不同維度表現並不同步。3,§3

作者進一步結合注意力和隱藏表示分析解釋失敗,並提出視覺信息傳遞方面的解釋。本篇採用較窄的判斷:熱點落到區域上,不能獨自證明屬性已被正確編碼或用於後續答案。已讀v1的數據構建段還同時出現人工核驗及將進行核驗的措辭,因此本文不把數據人工檢查狀態擴大表述為全部無誤;也不據此否定已報告的診斷結果。3,§3.1、§4

這項工作提示一個實際的閱讀陷阱:模型回答“不同”,同時寫錯了差異是什麼,不能算完整成功;但回答對稱問題時自相矛盾,也不能直接被稱為有意撒謊。否定句理解、隨機採樣、輸出解析和視覺識別都可能參與。要定位責任,需要為這些環節分別保留對照。

三種證據為何不能直接排名

測量問題 觀察入口 能支持的局部判斷 尚不能證明
感知句符合圖像嗎 逐步標註與裁判 描述錯誤是否減少 解釋是否造成答案
解釋跟蹤視覺影響嗎 對象刪除與預測變化 提及和干預影響是否相關 完整內部因果路徑
描述與判斷一致嗎 圖像對及對稱提問 差異描述、邏輯一致性缺口 失敗來自唯一機制

表中三個入口分別對應[1]、[2]、[3]。任務從單圖感知問答到視覺蘊含、再到雙圖差異描述,模型起點、提示和輸出結構均不同;一個比例按感知句彙總,一個指標是樣本間相關性,另一個衡量成對回答的矛盾。它們既沒有共同分母,也不是等預算比賽。

尤其要區分評估與改進。[1]引入檢測和重寫,[2]主要比較提示與測量協議,[3]還討論內部表徵與修正方法。若把它們放在一起宣佈某種訓練方式最有效,就越過了論文實際控制的變量。本文只比較證據能回答的問題,不拼接榜單數字。

一個能區分解釋的後續實驗

下面是建議方案,未在本次運行。先固定一個可讀取候選分數的模型與一組明確依賴對象屬性的問題。每題準備原圖、保持內容的重建圖、改變關鍵屬性圖,以及改變無關區域圖。先確認題目在每張圖上仍有合法答案,保存編輯指令和實際變化區域;不要把“編輯請求只改一處”當成“圖片確實只改一處”。

在完全相同的圖像和問題上比較直接作答、先解釋後作答、先答後解釋。三種模式記錄實際輸出長度、圖像分辨率、採樣設置和模型調用次數。預算無法完全相等時,同時報告每種模式成本,並增加同等總調用額度的直接作答對照,避免把多看幾次圖的收益歸給解釋形式。

判讀時保留三份互不替代的記錄:最終答案是否正確;感知陳述是否受圖像支持;被改變的關鍵證據是否被提及。提及還要檢查方向,例如“杯子消失”與“杯子仍在”不能只因都有“杯子”就同樣計為成功。裁判應看具體圖像與句子,並用獨立抽樣標註估計誤差,不能讓生成模型自行宣佈通過。

如果解釋能反映證據,關鍵屬性變化應當引起與任務相符的描述和預測變化,無關編輯則不應造成同等幅度的擾動。如果只有描述變了而答案對關鍵屬性不敏感,應檢查是否存在替代證據或下游綁定失敗。如果答案變了但理由不更新,則更支持解釋遺漏重要因素。若重建圖也造成類似變化,應先排查圖像處理流程,而不是擴大忠實性結論。

進一步檢驗解釋是否參與答案,可以固定圖像,只替換中間解釋中的一條屬性,再讓模型繼續回答;同時加入同義改寫和無關句替換。這個操作仍可能製造模型平時不會遇到的前綴,所以必須報告輸入異常的影響。即使得到方向一致的變化,也只支持該設置下的依賴,不能據此認定整條推理鏈完全透明。

預先規定什麼結果會推翻自己的解釋也很重要。若效果只出現在一個編輯器或一種提示中,就收窄到該協議;若換用獨立裁判後差異消失,就優先解釋評分偏差。不要只挑答案翻轉的成功例子:保留沒有變化、拒答和無法判定的樣本,才知道測量覆蓋了什麼。

總結:更詳細的解釋,要接受更具體的檢驗

多模態思維鏈提供了可檢查的陳述,因此有研究價值。但可檢查不等於已經可信。讀一篇聲稱解釋更忠實的論文,應先問它核對的是圖像事實、輸入影響,還是解釋對答案的作用,再看對照是否足以排除替代解釋。

本篇的當前結論是:把這三層證據分開報告,比給模型貼上“會看圖”或“只會編理由”的總標籤更可靠。真正未決的問題,是這些測量能否在相同任務、相近預算和獨立裁判下共同改善,並在新的視覺條件中保持。

參考資料

  1. Rheeya Uppaal、Phu Mon Htut、Min Bai、Nikolaos Pappas、Zheng Qi、Sandesh Swamy,2026,Journey Before Destination: On the importance of Visual Faithfulness in Slow Thinking。EACL 2026正式論文;本文讀取正式全文。
  2. Bayar Menzat、Maximilian Süss、Ruizhi Wang、Benno Steinegger、Thomas Lukasiewicz、Oana-Maria Camburu,2026,Counterfactual Tests for Measuring Chain-of-Thought Faithfulness in Visual Language Models。Findings of EMNLP 2026正式頁面;正式PDF因訪問大小限制未取得,方法與結果依據arXiv v1全文,不聲稱逐字核對最終出版版。
  3. Weijiang Lv、Yaoxuan Feng、Xiaobo Xia、Jiayu Wang、Yan Jing、Wenchao Chen、Bo Chen,2026,SPD-Faith Bench: Diagnosing and Improving Faithfulness in Chain-of-Thought for Multimodal Large Language Models。Findings of ACL 2026正式頁面;正式PDF因訪問大小限制未取得,實驗討論依據arXiv v1全文。

作者作品推廣

以下是作者自有產品推廣。除了寫技術博客,我也在做一些讓日常更有條理的小工具,歡迎瞭解我獨立開發的兩款 App:

  • 日常收支小記:記錄日常賬目,安排預算與儲蓄目標。在 App Store 瞭解。
  • 一事微光:按當下的時間和精力選擇小行動,記錄完成後的感受與發現。在 App Store 瞭解。

更多技術文章和個人作品,歡迎來我的網站:zffjzz.top。也歡迎把使用感受告訴我,讓這些小工具慢慢變得更好。