面向研究生、科研新人和工程型研究者;檢索與實驗日期:2026-09-13。

摘要
視覺語言模型答錯一道圖表題,原因可能是小字沒讀清、顏色對應錯、減法變加法,也可能是答案格式不合評分規則。反過來,分數很高也未必代表數值準確。本文圍繞一個復現目標展開:先用已知錯誤校準評測協議,再設計能夠區分感知與推理的實驗。本次在 CPU 上運行合成答案測試和官方評分函數,驗證了相對誤差分母、字符串長度及閾值邊界的實際影響;沒有運行圖像識別或大模型推理。
目錄
- 復現價值:先確定測量對象
- 核心思想與公式
- 官方代碼閱讀路線
- 最小實驗與實際結果
- 評測協議與數據構造
- 失敗排查與證據邊界
- 後續科研問題
- 總結與參考資料
復現價值:先確定測量對象
VLM 指同時處理視覺和語言輸入的模型;OCR 是把圖中的字符識別為文本。OCR 正確不保證回答正確,因為問題還可能要求匹配圖例、讀取單位或跨柱比較。把所有錯誤稱為“幻覺”,會丟掉決定下一步實驗的信息。
論文報告:Masry 等人的 ChartQA 發表於 Findings of ACL 2022,任務包含視覺指代和邏輯運算,模型結合圖像特徵與圖表數據。Mathew、Karatzas、Jawahar 的 DocVQA 首次發表於二〇二〇年預印本,第三版對應 WACV 2021,強調文檔圖像上的問答與結構理解。兩者說明,複製文本與理解圖表關係應分開觀察。ChartQA 出版頁;DocVQA 第三版記錄
本次復現的是測量環節:同一個輸出經過不同實現是否仍獲相同判定。先把評分器當成待檢驗程序,才能解釋後續模型提升;這裡既不復現原論文訓練,也不轉述未經重跑的性能數字。
核心思想與公式

圖示是後續完整實驗的設計。模型只能收到圖片與問題;標準答案另走評分支路。本次代碼只執行答案、標準答案和評分之間的計算,圖中的模型節點尚未運行。
數值寬鬆準確率允許一定誤差。對非零標準值可寫為
其中 是標準數值, 是預測數值,輸出是零或一。ChartQA 論文第五節允許數值答案相差百分之五,非數值答案要求精確匹配。該指標容忍讀數偏差,不能證明每個數字都對;零值怎樣處理還需要實現約定。原論文第五節
文本側使用歸一化編輯相似度。編輯距離 是把一個字符串改成另一個所需的最少插入、刪除和替換次數。本文診斷實現定義
是第 題允許的答案集合,長度按統一清理後的字符串計算;先對多參考答案取最佳匹配,再對題目求平均,得到 ANLS。空輸出記零。嚴格邊界與 Pix2Struct 的距離閾值形式一致,但本文額外統一空白並處理空串,因此屬於顯式診斷口徑,不能直接冒充官方提交分數。Pix2Struct 指標實現
官方代碼閱讀路線
先讀 ChartQA 倉庫的數據結構:人工與機器生成問題分別存放,圖片、底層表格、位置標註是不同資源。真實讀圖實驗若把底層表格放進提示詞,就改變了輸入條件;人工表格適合用作單獨的診斷對照。
再按 Qwen-VL 評測說明找到數據集配置與運行入口。不要先替換模型,再猜分數怎樣計算。閱讀順序應是問題編號、輸入拼接、生成參數、答案截取、指標調用。
本次靜態核對 evaluate_vqa.py:relaxed_correctness 的首參數是標準答案,但聚合函數把模型答案放到首位,使非零數值比較按預測值作分母。另一處將零值轉入字符串比較,導致數值相等不必然通過。這裡說的是當日源碼快照,不能據此斷言所有版本都如此。
隨後追蹤 infographicsvqa_eval.py:編輯距離使用清理後的文本,長度卻來自原始字符串,並保留相似度恰為一半的結果。這與本文口徑不同,必須用邊界樣本對照。上述源文件已原樣保存並記錄哈希,實驗僅提取評分函數執行,沒有加載模型依賴;分支未鎖定提交號,後續變化待人工核驗。
最小實驗與實際結果
入口是 minimal_eval.py,依賴與字段說明見 README。使用 Python 3.12.14 標準庫,固定種子 72,生成二十份文檔規格,每份包含八字符標識、青色與琥珀色兩個數值。規格是結構化真值,沒有渲染成圖片,也沒有交給識別模型。
每份規格構造四題:複製標識、讀取青色數值、求兩者差、求青色佔總量的百分比。前五份組成開發集,其餘十五份組成測試集;同文檔的題目始終在同一集合。測試共六十題,其中文本十五題、數值四十五題。百分比答案先按題意保留兩位小數,之後的擾動作用於這個已固定的標準答案。
在文章目錄執行:
python3 -m py_compile code/minimal_eval.py code/audit_protocol.py
python3 code/minimal_eval.py
python3 code/audit_protocol.py
程序打印檢查點,保存全部題目、預測、逐題分數和彙總。實際輸出來自本次運行,不是示例日誌。以下使用本文診斷口徑;各列分母不同,不能合併成一個所謂綜合準確率。
| 受控輸出 | 全題精確匹配,六十題 | 文本 ANLS,十五題 | 數值寬鬆通過,四十五題 |
|---|---|---|---|
| 原樣複製標準答案 | 1.000 | 1.000 | 1.000 |
| 數值統一增加百分之四 | 0.250 | 1.000 | 1.000 |
| 數值統一增加百分之六 | 0.250 | 1.000 | 0.000 |
| 四類定向錯誤 | 0.000 | 0.875 | 0.000 |
| 全部添加解釋性前綴 | 0.000 | 0.000 | 0.000 |
四類錯誤分別是標識末位替換、讀取另一系列、減法改成加法、百分數丟掉百分號。所有輸出都是人為注入:滿分行只證明正對照接通。百分之四組的數值精確通過率為零,卻被寬鬆指標全部接受;八字符標識錯一位仍得 0.875,說明相似度不等於標識有效。
獨立審計重建了八十個標準答案、複核二百二十五條數值評分,並用九百六十一對短字符串比較兩種編輯距離算法。缺失、重複、額外編號均被拒絕,重排輸出不改變結果。
源碼邊界測試也實際通過:標準值一百、預測 105.2 時,按標準值分母拒絕,快照聚合函數接受;預測九十五則相反。標準字符串 0 與預測 0.0 在快照中不匹配。ANLS 獨立入口對 abcd 和尾隨十六個空格的 abxx 給出 0.9。注意上游生成腳本會先去掉尾部空白,該反例不能直接證明完整推理鏈也有同樣表現。完整反例與結果
評測協議與數據構造
真實實驗先凍結數據版本、文檔劃分和答案規範,再運行模型。最小記錄應包含文檔編號、圖片校驗值、問題、答案集合、單位、證據位置、操作類型及原始輸出。題目編號必須穩定;同一圖的裁剪版、壓縮版和不同問題不能跨訓練與測試洩漏。
本次規格驗證了取值、差值和比例的真值生成邏輯。擴展為圖像測試時,應把同一規格變成不同字號、分辨率和圖例佈局,每次只改變一個因素;同時人工複核圖像確實表達了規格里的數值。清晰原圖與低分辨率圖組成配對樣本,不應被當作獨立文檔擴充分母。這部分尚未執行,待人工核驗。
設置三個輸入條件:僅圖片與問題、外部 OCR 加圖片、人工校正表格加問題。第三項是給定正確中間信息的對照,不能作為端到端成績。如果加入表格後仍錯,才進一步檢查運算和表達;若只在小字條件下降,也需要排除裁剪丟失和圖像預處理差異。
所有條件固定提示詞、權重、解碼參數和輸出預算。本文數值解析只接受單個有限十進制數及可選百分號,允許 50% 與 0.5 數值等價,不會刪單位或從解釋段落撈出一個數字。真實任務必須先規定回答單位,單位感知評分應另列,不能看到輸出後臨時改變解析規則。
報告同時保留官方口徑與診斷口徑、人工問題與自動問題、複製與運算子集。請求失敗應保留為顯式失敗,不可悄悄縮小分母;置信區間宜按文檔重採樣。本文是確定性構造反例,沒有做模型抽樣或置信區間估計。
失敗排查與證據邊界
先查輸入證據,再查中間綁定與運算,最後查輸出解析。小字誤識應觀察對應區域;圖例錯配要核對顏色與系列;算術錯要保存操作數;格式失敗則比較原始答案與解析結果。僅憑最終一句話,通常不能唯一確定錯誤發生在哪一層。
作者推斷:人工表格對照有助於定位感知瓶頸,但改變輸入後也改變了任務難度,分數差不能機械地解釋為純 OCR 損失。模型生成的推理文字同樣不是內部執行過程的證明,最好要求可重算的中間數值與獨立證據。
本次故障標籤來自注入程序,不是從真實預測自動識別出來的。真實字體、中文、曲線插值、多頁文檔、預訓練汙染及顯存開銷均未驗證;原始數據集和權重未下載。官方完整推理、當前依賴兼容性及真實基準分數待人工核驗。
後續科研問題
第一個問題是評分口徑的敏感性:在固定真實輸出上重算不同分母和邊界,究竟影響多少題,模型排序是否變化?必須保留原始輸出並按文檔配對分析,本文反例只證明存在差異,不能估計普遍程度。
第二個問題是分辨率收益來自哪裡:保持問題與解碼預算不變,比較複製題、顏色綁定題和計算題的變化。如果提升只集中在字符識別,就不應概括為邏輯推理增強。
第三個問題是如何要求可驗證證據:讓模型同時給出讀到的系列、操作數與答案,分別檢查證據正確率和計算一致性。輸出格式本身可能增加失敗,因此需要與僅答結果的基線配對,測量收益和額外代價。
總結
讀圖評測首先是一項測量工作。明確輸入條件、保存原始答案、審計評分邊界,再用受控干預定位失敗,才能把一張分數錶轉化為可靠的科研問題。這個最小實驗提供的是可執行的協議檢查起點;它不證明任何 VLM 已經具備讀圖能力。
參考資料
以下一手鍊接均於 2026-09-13 實際打開。源碼為當日浮動分支,兩個 Qwen-VL 文件另有本地哈希快照;DocVQA 全文訪問失敗,僅使用可訪問的版本頁支持題名與研究範圍。
- Ahmed Masry、Do Xuan Long、Jia Qing Tan、Shafiq Joty、Enamul Hoque,2022,ChartQA: A Benchmark for Question Answering about Charts with Visual and Logical Reasoning。出版頁;論文全文。
- Minesh Mathew、Dimosthenis Karatzas、C. V. Jawahar,2020/2021,DocVQA: A Dataset for VQA on Document Images。arXiv 第三版記錄。
- ChartQA 作者團隊,官方數據與代碼倉庫,main。
- Qwen-VL 團隊,評測說明、VQA 入口、倉庫收錄的文檔評分器,master。
- Pix2Struct 作者團隊,指標源碼,main,用於核對嚴格距離閾值。