前一篇我們把主流 VLM 的架構分化講清楚了。

如果說 LLaVA、Qwen-VL、MiniCPM-V、InternVL 這些模型的差別,決定了它們“適合做什麼”,那接下來真正會在業務裡把系統拉開差距的,往往不是單張普通圖片問答,而是下面這些更難的輸入:

  • 多張圖片聯合理解
  • 超高分辨率圖像理解
  • 長截圖、長海報、長文檔頁
  • 表格、票據、論文頁面、產品說明書
  • 需要跨圖對比、跨區域定位、跨頁面總結的任務

很多團隊在做 Demo 的時候,拿一張 448×448 的普通圖片測試,效果看起來還不錯。

但一進入真實場景,問題馬上就會暴露:

  • 圖片一多,視覺 token 數量迅速膨脹
  • 分辨率一高,顯存和延遲明顯失控
  • OCR 細節一密,模型開始漏字、串行、看錯局部
  • 需要跨圖比較時,模型會把不同圖片的信息混在一起
  • 長圖切塊不合理時,模型明明“看過”,卻答不出全局關係

所以這篇文章重點不是泛泛而談“模型支持多圖”。

我更想從工程視角把三件事講透:

  1. 為什麼多圖和高分辨率會讓 VLM 變得昂貴
  2. 主流模型到底用哪些辦法控制視覺 token 爆炸
  3. 真實部署裡,多圖、長圖、高分辨率任務應該怎麼設計輸入鏈路和參數

如果你正在做文檔理解、GUI Agent、圖表分析、巡檢識別、票據審核或者多頁資料問答,這篇會比只看 benchmark 更實用。


一、先說結論:多圖和高分辨率不是“多喂一點圖”這麼簡單,而是在和上下文、顯存、延遲搶預算

很多人會把多模態輸入想成一句很自然的話:

既然模型能看一張圖,那就應該也能看很多張圖。

方向沒錯,但代價遠比想像中大。

因為對大多數 VLM 來說,圖片最終都會被編碼成視覺 token,再和文本 token 一起送進語言模型主幹。

這意味著只要圖片數量上去、分辨率上去,系統成本就會同步上漲。

成本主要體現在四個地方:

1)視覺 token 數量暴漲

假設視覺編碼器使用 ViT 路線,patch size 為 14,那麼輸入分辨率越高,切出來的 patch 就越多。

一個粗略直覺是:

  • 448×448 比 224×224 的 patch 數量大約多 4 倍
  • 896×896 再往上時,視覺 token 數量會繼續平方級增長
  • 如果還是多圖輸入,成本會繼續線性疊加

所以高分辨率和多圖疊加,是最容易把推理成本頂爆的組合。

2)LLM 上下文預算被視覺輸入吃掉

文本模型不是無限上下文。

即便主幹支持長上下文,視覺 token 進入後,仍然會和文本指令、歷史對話、檢索上下文一起競爭窗口。

結果就是:

  • 圖太多時,能留給文本推理的空間變少
  • 多輪對話時,舊圖信息可能被截斷
  • RAG + 多圖混合場景裡,容易出現“圖塞進去了,但文字資料塞不下”

3)prefill 延遲明顯上升

很多人只盯著 decode 速度,但多模態場景裡,prefill 往往更痛。

因為大量視覺 token 會在輸入階段一次性灌入模型,直接拉高首字時間(TTFT)。

典型現象是:

  • 單張圖問答還算流暢
  • 多圖比較時首響應變慢
  • 文檔頁數一多,系統像“卡住”了一樣

4)圖像之間的關係並不會自動學得很好

即便模型支持多圖輸入,也不代表它天然擅長:

  • 圖 1 和圖 2 的差異對比
  • 多頁文檔中的跨頁引用
  • 長截圖中前後區域的邏輯串聯
  • 多張圖裡相同對象的跟蹤與比對

也就是說,多圖不是隻有算力問題,還有建模與訓練問題。


二、為什麼高分辨率任務這麼難?難點不只是“圖更清楚”,而是細節信息和全局信息很難同時保住

高分辨率輸入的核心矛盾,可以概括成一句話:

你既想看清局部小字,又想保留整張圖的全局結構。

這兩件事經常互相打架。

比如在文檔理解裡:

  • 你需要看清頁眉頁腳、表格單元格、腳註、公式、小字體
  • 同時還要理解整頁版式、段落層級、圖表與正文對應關係

如果把整張圖直接縮到低分辨率:

  • 全局結構保住了
  • 但局部文字、圖例、細小控件會丟失

如果把圖切成很多高分辨率局部塊:

  • 局部細節保住了
  • 但全局佈局關係容易丟

所以高分辨率理解本質上是在做一個平衡:

  • 全局視野:知道整張圖在講什麼
  • 局部細節:看得清小字、小圖標、小區域
  • 計算成本:不能把 token 和顯存無限拉高

這也是為什麼很多主流 VLM 會引入動態分辨率、切圖、tiling、多尺度編碼等策略。


三、主流方案怎麼解決:固定分辨率、切圖、動態分辨率、多尺度,是四條最常見路線

1)固定分辨率:實現簡單,但上限明顯

最直接的方法,就是所有圖片統一 resize 到固定尺寸,例如 224、336、448、672 之類。

優點很明顯:

  • 輸入形態穩定
  • 部署簡單
  • 顯存和吞吐更好預估
  • 適合通用圖文問答和普通場景

但問題也很明顯:

  • 細小文字和密集表格容易糊掉
  • 長圖、海報、流程圖常被壓壞
  • 文檔類任務天花板較低

所以固定分辨率更適合:

  • 通用視覺問答
  • 商品圖、自然圖像理解
  • 對 OCR 精度要求不高的輕任務

2)切圖 / tiling:保細節最直接,但 token 容易爆

另一種做法是把高分辨率圖像切成多個 tile,再分別編碼。

這樣做的好處是:

  • 每個 tile 內細節更清楚
  • 對 OCR、文檔、圖表、GUI 任務更友好
  • 不必把整圖極限壓縮到模糊

但代價也很直接:

  • tile 數量越多,視覺 token 越多
  • 跨 tile 關係更難學
  • 推理延遲顯著上升

因此切圖不能無腦開。

真正工程上要配套做的是:

  • tile 數量上限控制
  • 重疊區域控制
  • tile 排序規則統一
  • 局部 tile 與全局縮略圖聯合輸入

3)動態分辨率:按內容複雜度分配預算

近兩年的很多強勢多模態模型,都會引入動態分辨率思想。

核心邏輯不是所有圖一刀切,而是根據圖像內容、長寬比、版式複雜度來決定:

  • 用多少 tile
  • 每個 tile 分辨率多高
  • 是否保留全局圖
  • 總視覺 token 上限是多少

這種做法比固定分辨率更靈活,通常也更適合真實業務。

因為現實世界裡的圖像複雜度差異很大:

  • 一張自然圖不需要文檔級精細處理
  • 一頁發票和一頁論文版面複雜度也不一樣
  • 一張長截圖如果只是聊天記錄,和一張儀表盤截圖的處理策略也應該不同

4)多尺度編碼:同時看全局和局部

還有一條常見思路,是把同一張圖的不同尺度一起送入系統。

比如:

  • 一張低分辨率全局圖負責佈局感知
  • 若干高分辨率局部塊負責細節識別

這樣能緩解“只看局部就失去全局、只看全局又看不清細節”的問題。

它特別適合:

  • 文檔理解
  • 表格與圖表分析
  • GUI 截圖理解
  • 地圖、海報、長流程圖

但這類方法同樣要求更強的輸入組織和訓練數據支持,否則模型容易出現:

  • 知道局部內容,卻不會彙總全局
  • 能描述版面,卻對具體細節識別不穩

四、多圖輸入到底該怎麼組織?順序、分組、標識符,比“能不能傳多張圖”更重要

多圖任務最常見的誤區,是把幾張圖直接拼進去,然後問一句:

“幫我比較一下這幾張圖。”

這樣有時能成,但穩定性通常不夠。

因為模型不一定知道:

  • 哪張是圖 1,哪張是圖 2
  • 用戶到底要比較什麼維度
  • 哪些圖是同一對象的不同時間狀態
  • 哪些圖是同一文檔的不同頁面

所以多圖輸入必須做結構化組織。

1)給每張圖顯式編號

最基礎也最有效的做法,就是顯式寫清楚:

  • Image A:會前版本
  • Image B:會後版本
  • Page 1:目錄頁
  • Page 2:正文頁
  • Screenshot 1:登錄前
  • Screenshot 2:登錄後

這樣可以顯著減少模型混圖。

2)把任務目標寫成可對齊的比較維度

不要只說“比較一下”。

應該儘量拆成:

  • 比較佈局差異
  • 比較數值變化
  • 找出新增按鈕
  • 對比兩頁文檔結論是否一致
  • 總結三張圖裡共同出現的問題

模型在多圖場景裡最怕任務目標模糊。

3)把多圖分成“全局組”和“局部組”

對於複雜任務,建議不要一次性把所有圖平鋪成一個列表。

更好的方式通常是:

  • 先給全局圖/整頁圖
  • 再給關鍵局部圖/放大圖
  • 最後在提示詞中說明對應關係

這樣比單純“堆圖”更穩。

4)控制單次請求中的圖片數量

即便模型號稱支持很多張圖,工程上也不建議一次塞太多。

經驗上更穩的做法是:

  • 先做一級篩選
  • 選出候選圖
  • 再做二級精讀

這和 RAG 很像,本質上也是分層處理,而不是把所有輸入一次壓進主幹。


五、關鍵參數怎麼理解:image resolution、patch size、tile 數、max image tokens 這幾個最值得盯

如果你要調多模態系統,我建議重點盯下面幾個參數。

1)image resolution

它決定輸入圖像在進入視覺編碼器前會被處理到什麼尺寸。

分辨率越高:

  • 局部細節越容易保留
  • OCR 和小目標識別通常更穩
  • 但計算成本、顯存、延遲都更高

實戰建議:

  • 通用問答可以先從中等分辨率起步
  • 文檔/OCR/GUI 任務再逐步提高
  • 不要默認所有場景都開最高分辨率

2)patch size

patch size 越小,同樣分辨率下切出的 patch 越多,細節表達更細,但 token 成本更高。

從工程角度看,它和輸入分辨率是乘法關係,而不是獨立關係。

所以不能只看“模型支持高分辨率”,還要看視覺編碼器的 patch 劃分粒度。

3)tile count / dynamic tiles

這是高分辨率任務裡最容易失控的參數之一。

tile 越多:

  • 模型越容易看清局部
  • 但延遲、顯存、吞吐都會明顯惡化

實戰上最好給 tile 設置硬上限,並針對不同任務設模板:

  • 普通圖片:低 tile 或單圖模式
  • 文檔頁:中等 tile
  • 超長圖或複雜圖表:高 tile,但要配合限流

4)max image tokens / visual token budget

很多系統最終卡住,不是因為模型“看不懂”,而是因為視覺 token 預算設計失控。

建議把它當成一級系統參數,而不是隱藏細節。

因為它直接影響:

  • 是否能保留足夠文本上下文
  • 請求的首字時間
  • GPU 顯存峰值
  • 併發能力

六、部署實戰:多圖和高分辨率任務,別直接追單模型能力,先把服務鏈路拆層

從落地經驗看,多圖/長圖/高分辨率任務最穩的方案,往往不是“找一個最強模型一把梭”,而是把鏈路拆層。

1)先分類,再精讀

例如先用輕量策略判斷輸入屬於哪類:

  • 自然圖
  • 文檔頁
  • 表格頁
  • 長截圖
  • 多圖對比任務

然後再決定是否啟用高分辨率、多 tile 或多圖模式。

這樣能節省很多不必要的算力開銷。

2)先粗看,再細看

對長圖或多頁文檔,建議分兩階段:

  • 第一階段:低成本全局掃描,找重點區域
  • 第二階段:高分辨率局部精讀

這比全量高精度處理更接近真實生產需求。

3)圖文混合任務裡,給文本留預算

很多系統一遇到文檔,就把所有頁面圖片都灌進模型,結果文字說明、規則、檢索片段反而塞不進去。

更合理的做法是:

  • 讓圖像負責版式和視覺證據
  • 讓 OCR / 結構化抽取負責高密度文本
  • 讓 LLM 負責綜合推理和生成

不要讓一個模型單獨背所有環節。

4)把 OCR 和 VLM 視為互補,而不是替代

在很多文檔場景裡,我更建議把 VLM 和 OCR 組合使用。

原因很簡單:

  • OCR 擅長高精度文本轉寫
  • VLM 擅長圖文聯合理解、佈局推理、跨區域關係解釋

如果只用 VLM 硬吃所有文字密集文檔,成本高且穩定性未必最好。

比較穩的鏈路通常是:

  • OCR 提取文本
  • 版面分析抽取區域結構
  • VLM 處理難以規則化的圖文關係
  • LLM 彙總生成最終答案

七、最常見的坑:系統不是死在模型不夠強,而是死在輸入策略不合理

這裡總結幾個我覺得最常見的坑。

1)所有圖片都按最高規格處理

後果就是:

  • GPU 顯存長期高壓
  • 併發能力極差
  • 首響應時間難看
  • 成本失控

正確做法是分級輸入,不同任務走不同預算模板。

2)長圖只切局部,不保留全局圖

這樣模型可能認得每一塊,但不知道整張圖的結構關係。

3)只保留全局圖,不給局部放大

這樣模型知道圖在講什麼,但 OCR、小圖標、細表格會頻繁出錯。

4)多圖沒有編號和任務約束

結果常常是:

  • 回答把圖混在一起
  • 比較維度跑偏
  • 跨圖引用不穩定

5)把多模態模型當萬能 OCR 引擎

VLM 很強,但不是所有高密度文字任務都該直接硬上。

當任務目標是高準確率字段抽取時,傳統 OCR + 規則/結構化方法常常更穩、更便宜。


八、怎麼選方案:按任務類型決定多圖與高分辨率策略,而不是反過來

如果你正在做選型,我建議用下面這個思路。

1)通用圖文問答

優先目標:

  • 低延遲
  • 中等成本
  • 足夠穩定

建議:

  • 固定分辨率
  • 單圖或少量多圖
  • 控制視覺 token 預算

2)文檔理解 / OCR 增強

優先目標:

  • 保細節
  • 看版面
  • 能跨區域理解

建議:

  • 動態分辨率
  • 全局圖 + 局部 tile
  • OCR 與 VLM 組合

3)多圖比較 / 巡檢 / GUI Agent

優先目標:

  • 跨圖一致性
  • 時序或狀態差異識別
  • 明確定位變化點

建議:

  • 圖片編號
  • 固定比較維度
  • 分階段篩選與精讀

4)長截圖 / 長文檔 / 多頁報告

優先目標:

  • 保留上下文關係
  • 控制 token 爆炸
  • 提升跨頁總結能力

建議:

  • 分頁或分段處理
  • 先粗讀後精讀
  • 不要把所有頁面一次塞滿上下文

九、最後總結:多圖和高分辨率能力,決定的是 VLM 能不能真的進入生產場景

單張普通圖片問答,今天已經不是多模態系統最有區分度的能力了。

真正能決定一個 VLM 是否值得落地的,越來越是這些更工程化的問題:

  • 多圖輸入能不能穩定比較
  • 高分辨率下能不能看清細節又不拖垮成本
  • 長圖和文檔頁能不能同時兼顧全局與局部
  • 視覺 token 預算能不能和文本上下文、延遲、併發一起平衡

所以看一個多模態系統,不要只看它“能不能看圖”。

更要看它在複雜輸入條件下,是否有一套明確的輸入組織、token 預算和服務分層策略。

一句話總結:

多圖、高分辨率、長圖文場景的本質,不是讓模型“看更多”,而是讓系統在有限預算下,把真正重要的視覺信息送進去。

下一篇,我們繼續往前走,進入很多團隊真正會遇到的訓練問題:

多模態微調到底怎麼做?圖文數據怎麼配比?vision lr、llm lr、凍結策略這些關鍵參數該怎麼定?