前一篇我們把主流 VLM 的架構分化講清楚了。
如果說 LLaVA、Qwen-VL、MiniCPM-V、InternVL 這些模型的差別,決定了它們“適合做什麼”,那接下來真正會在業務裡把系統拉開差距的,往往不是單張普通圖片問答,而是下面這些更難的輸入:
- 多張圖片聯合理解
- 超高分辨率圖像理解
- 長截圖、長海報、長文檔頁
- 表格、票據、論文頁面、產品說明書
- 需要跨圖對比、跨區域定位、跨頁面總結的任務
很多團隊在做 Demo 的時候,拿一張 448×448 的普通圖片測試,效果看起來還不錯。
但一進入真實場景,問題馬上就會暴露:
- 圖片一多,視覺 token 數量迅速膨脹
- 分辨率一高,顯存和延遲明顯失控
- OCR 細節一密,模型開始漏字、串行、看錯局部
- 需要跨圖比較時,模型會把不同圖片的信息混在一起
- 長圖切塊不合理時,模型明明“看過”,卻答不出全局關係
所以這篇文章重點不是泛泛而談“模型支持多圖”。
我更想從工程視角把三件事講透:
- 為什麼多圖和高分辨率會讓 VLM 變得昂貴
- 主流模型到底用哪些辦法控制視覺 token 爆炸
- 真實部署裡,多圖、長圖、高分辨率任務應該怎麼設計輸入鏈路和參數
如果你正在做文檔理解、GUI Agent、圖表分析、巡檢識別、票據審核或者多頁資料問答,這篇會比只看 benchmark 更實用。
一、先說結論:多圖和高分辨率不是“多喂一點圖”這麼簡單,而是在和上下文、顯存、延遲搶預算
很多人會把多模態輸入想成一句很自然的話:
既然模型能看一張圖,那就應該也能看很多張圖。
方向沒錯,但代價遠比想像中大。
因為對大多數 VLM 來說,圖片最終都會被編碼成視覺 token,再和文本 token 一起送進語言模型主幹。
這意味著只要圖片數量上去、分辨率上去,系統成本就會同步上漲。
成本主要體現在四個地方:
1)視覺 token 數量暴漲
假設視覺編碼器使用 ViT 路線,patch size 為 14,那麼輸入分辨率越高,切出來的 patch 就越多。
一個粗略直覺是:
- 448×448 比 224×224 的 patch 數量大約多 4 倍
- 896×896 再往上時,視覺 token 數量會繼續平方級增長
- 如果還是多圖輸入,成本會繼續線性疊加
所以高分辨率和多圖疊加,是最容易把推理成本頂爆的組合。
2)LLM 上下文預算被視覺輸入吃掉
文本模型不是無限上下文。
即便主幹支持長上下文,視覺 token 進入後,仍然會和文本指令、歷史對話、檢索上下文一起競爭窗口。
結果就是:
- 圖太多時,能留給文本推理的空間變少
- 多輪對話時,舊圖信息可能被截斷
- RAG + 多圖混合場景裡,容易出現“圖塞進去了,但文字資料塞不下”
3)prefill 延遲明顯上升
很多人只盯著 decode 速度,但多模態場景裡,prefill 往往更痛。
因為大量視覺 token 會在輸入階段一次性灌入模型,直接拉高首字時間(TTFT)。
典型現象是:
- 單張圖問答還算流暢
- 多圖比較時首響應變慢
- 文檔頁數一多,系統像“卡住”了一樣
4)圖像之間的關係並不會自動學得很好
即便模型支持多圖輸入,也不代表它天然擅長:
- 圖 1 和圖 2 的差異對比
- 多頁文檔中的跨頁引用
- 長截圖中前後區域的邏輯串聯
- 多張圖裡相同對象的跟蹤與比對
也就是說,多圖不是隻有算力問題,還有建模與訓練問題。
二、為什麼高分辨率任務這麼難?難點不只是“圖更清楚”,而是細節信息和全局信息很難同時保住
高分辨率輸入的核心矛盾,可以概括成一句話:
你既想看清局部小字,又想保留整張圖的全局結構。
這兩件事經常互相打架。
比如在文檔理解裡:
- 你需要看清頁眉頁腳、表格單元格、腳註、公式、小字體
- 同時還要理解整頁版式、段落層級、圖表與正文對應關係
如果把整張圖直接縮到低分辨率:
- 全局結構保住了
- 但局部文字、圖例、細小控件會丟失
如果把圖切成很多高分辨率局部塊:
- 局部細節保住了
- 但全局佈局關係容易丟
所以高分辨率理解本質上是在做一個平衡:
- 全局視野:知道整張圖在講什麼
- 局部細節:看得清小字、小圖標、小區域
- 計算成本:不能把 token 和顯存無限拉高
這也是為什麼很多主流 VLM 會引入動態分辨率、切圖、tiling、多尺度編碼等策略。
三、主流方案怎麼解決:固定分辨率、切圖、動態分辨率、多尺度,是四條最常見路線
1)固定分辨率:實現簡單,但上限明顯
最直接的方法,就是所有圖片統一 resize 到固定尺寸,例如 224、336、448、672 之類。
優點很明顯:
- 輸入形態穩定
- 部署簡單
- 顯存和吞吐更好預估
- 適合通用圖文問答和普通場景
但問題也很明顯:
- 細小文字和密集表格容易糊掉
- 長圖、海報、流程圖常被壓壞
- 文檔類任務天花板較低
所以固定分辨率更適合:
- 通用視覺問答
- 商品圖、自然圖像理解
- 對 OCR 精度要求不高的輕任務
2)切圖 / tiling:保細節最直接,但 token 容易爆
另一種做法是把高分辨率圖像切成多個 tile,再分別編碼。
這樣做的好處是:
- 每個 tile 內細節更清楚
- 對 OCR、文檔、圖表、GUI 任務更友好
- 不必把整圖極限壓縮到模糊
但代價也很直接:
- tile 數量越多,視覺 token 越多
- 跨 tile 關係更難學
- 推理延遲顯著上升
因此切圖不能無腦開。
真正工程上要配套做的是:
- tile 數量上限控制
- 重疊區域控制
- tile 排序規則統一
- 局部 tile 與全局縮略圖聯合輸入
3)動態分辨率:按內容複雜度分配預算
近兩年的很多強勢多模態模型,都會引入動態分辨率思想。
核心邏輯不是所有圖一刀切,而是根據圖像內容、長寬比、版式複雜度來決定:
- 用多少 tile
- 每個 tile 分辨率多高
- 是否保留全局圖
- 總視覺 token 上限是多少
這種做法比固定分辨率更靈活,通常也更適合真實業務。
因為現實世界裡的圖像複雜度差異很大:
- 一張自然圖不需要文檔級精細處理
- 一頁發票和一頁論文版面複雜度也不一樣
- 一張長截圖如果只是聊天記錄,和一張儀表盤截圖的處理策略也應該不同
4)多尺度編碼:同時看全局和局部
還有一條常見思路,是把同一張圖的不同尺度一起送入系統。
比如:
- 一張低分辨率全局圖負責佈局感知
- 若干高分辨率局部塊負責細節識別
這樣能緩解“只看局部就失去全局、只看全局又看不清細節”的問題。
它特別適合:
- 文檔理解
- 表格與圖表分析
- GUI 截圖理解
- 地圖、海報、長流程圖
但這類方法同樣要求更強的輸入組織和訓練數據支持,否則模型容易出現:
- 知道局部內容,卻不會彙總全局
- 能描述版面,卻對具體細節識別不穩
四、多圖輸入到底該怎麼組織?順序、分組、標識符,比“能不能傳多張圖”更重要
多圖任務最常見的誤區,是把幾張圖直接拼進去,然後問一句:
“幫我比較一下這幾張圖。”
這樣有時能成,但穩定性通常不夠。
因為模型不一定知道:
- 哪張是圖 1,哪張是圖 2
- 用戶到底要比較什麼維度
- 哪些圖是同一對象的不同時間狀態
- 哪些圖是同一文檔的不同頁面
所以多圖輸入必須做結構化組織。
1)給每張圖顯式編號
最基礎也最有效的做法,就是顯式寫清楚:
- Image A:會前版本
- Image B:會後版本
- Page 1:目錄頁
- Page 2:正文頁
- Screenshot 1:登錄前
- Screenshot 2:登錄後
這樣可以顯著減少模型混圖。
2)把任務目標寫成可對齊的比較維度
不要只說“比較一下”。
應該儘量拆成:
- 比較佈局差異
- 比較數值變化
- 找出新增按鈕
- 對比兩頁文檔結論是否一致
- 總結三張圖裡共同出現的問題
模型在多圖場景裡最怕任務目標模糊。
3)把多圖分成“全局組”和“局部組”
對於複雜任務,建議不要一次性把所有圖平鋪成一個列表。
更好的方式通常是:
- 先給全局圖/整頁圖
- 再給關鍵局部圖/放大圖
- 最後在提示詞中說明對應關係
這樣比單純“堆圖”更穩。
4)控制單次請求中的圖片數量
即便模型號稱支持很多張圖,工程上也不建議一次塞太多。
經驗上更穩的做法是:
- 先做一級篩選
- 選出候選圖
- 再做二級精讀
這和 RAG 很像,本質上也是分層處理,而不是把所有輸入一次壓進主幹。
五、關鍵參數怎麼理解:image resolution、patch size、tile 數、max image tokens 這幾個最值得盯
如果你要調多模態系統,我建議重點盯下面幾個參數。
1)image resolution
它決定輸入圖像在進入視覺編碼器前會被處理到什麼尺寸。
分辨率越高:
- 局部細節越容易保留
- OCR 和小目標識別通常更穩
- 但計算成本、顯存、延遲都更高
實戰建議:
- 通用問答可以先從中等分辨率起步
- 文檔/OCR/GUI 任務再逐步提高
- 不要默認所有場景都開最高分辨率
2)patch size
patch size 越小,同樣分辨率下切出的 patch 越多,細節表達更細,但 token 成本更高。
從工程角度看,它和輸入分辨率是乘法關係,而不是獨立關係。
所以不能只看“模型支持高分辨率”,還要看視覺編碼器的 patch 劃分粒度。
3)tile count / dynamic tiles
這是高分辨率任務裡最容易失控的參數之一。
tile 越多:
- 模型越容易看清局部
- 但延遲、顯存、吞吐都會明顯惡化
實戰上最好給 tile 設置硬上限,並針對不同任務設模板:
- 普通圖片:低 tile 或單圖模式
- 文檔頁:中等 tile
- 超長圖或複雜圖表:高 tile,但要配合限流
4)max image tokens / visual token budget
很多系統最終卡住,不是因為模型“看不懂”,而是因為視覺 token 預算設計失控。
建議把它當成一級系統參數,而不是隱藏細節。
因為它直接影響:
- 是否能保留足夠文本上下文
- 請求的首字時間
- GPU 顯存峰值
- 併發能力
六、部署實戰:多圖和高分辨率任務,別直接追單模型能力,先把服務鏈路拆層
從落地經驗看,多圖/長圖/高分辨率任務最穩的方案,往往不是“找一個最強模型一把梭”,而是把鏈路拆層。
1)先分類,再精讀
例如先用輕量策略判斷輸入屬於哪類:
- 自然圖
- 文檔頁
- 表格頁
- 長截圖
- 多圖對比任務
然後再決定是否啟用高分辨率、多 tile 或多圖模式。
這樣能節省很多不必要的算力開銷。
2)先粗看,再細看
對長圖或多頁文檔,建議分兩階段:
- 第一階段:低成本全局掃描,找重點區域
- 第二階段:高分辨率局部精讀
這比全量高精度處理更接近真實生產需求。
3)圖文混合任務裡,給文本留預算
很多系統一遇到文檔,就把所有頁面圖片都灌進模型,結果文字說明、規則、檢索片段反而塞不進去。
更合理的做法是:
- 讓圖像負責版式和視覺證據
- 讓 OCR / 結構化抽取負責高密度文本
- 讓 LLM 負責綜合推理和生成
不要讓一個模型單獨背所有環節。
4)把 OCR 和 VLM 視為互補,而不是替代
在很多文檔場景裡,我更建議把 VLM 和 OCR 組合使用。
原因很簡單:
- OCR 擅長高精度文本轉寫
- VLM 擅長圖文聯合理解、佈局推理、跨區域關係解釋
如果只用 VLM 硬吃所有文字密集文檔,成本高且穩定性未必最好。
比較穩的鏈路通常是:
- OCR 提取文本
- 版面分析抽取區域結構
- VLM 處理難以規則化的圖文關係
- LLM 彙總生成最終答案
七、最常見的坑:系統不是死在模型不夠強,而是死在輸入策略不合理
這裡總結幾個我覺得最常見的坑。
1)所有圖片都按最高規格處理
後果就是:
- GPU 顯存長期高壓
- 併發能力極差
- 首響應時間難看
- 成本失控
正確做法是分級輸入,不同任務走不同預算模板。
2)長圖只切局部,不保留全局圖
這樣模型可能認得每一塊,但不知道整張圖的結構關係。
3)只保留全局圖,不給局部放大
這樣模型知道圖在講什麼,但 OCR、小圖標、細表格會頻繁出錯。
4)多圖沒有編號和任務約束
結果常常是:
- 回答把圖混在一起
- 比較維度跑偏
- 跨圖引用不穩定
5)把多模態模型當萬能 OCR 引擎
VLM 很強,但不是所有高密度文字任務都該直接硬上。
當任務目標是高準確率字段抽取時,傳統 OCR + 規則/結構化方法常常更穩、更便宜。
八、怎麼選方案:按任務類型決定多圖與高分辨率策略,而不是反過來
如果你正在做選型,我建議用下面這個思路。
1)通用圖文問答
優先目標:
- 低延遲
- 中等成本
- 足夠穩定
建議:
- 固定分辨率
- 單圖或少量多圖
- 控制視覺 token 預算
2)文檔理解 / OCR 增強
優先目標:
- 保細節
- 看版面
- 能跨區域理解
建議:
- 動態分辨率
- 全局圖 + 局部 tile
- OCR 與 VLM 組合
3)多圖比較 / 巡檢 / GUI Agent
優先目標:
- 跨圖一致性
- 時序或狀態差異識別
- 明確定位變化點
建議:
- 圖片編號
- 固定比較維度
- 分階段篩選與精讀
4)長截圖 / 長文檔 / 多頁報告
優先目標:
- 保留上下文關係
- 控制 token 爆炸
- 提升跨頁總結能力
建議:
- 分頁或分段處理
- 先粗讀後精讀
- 不要把所有頁面一次塞滿上下文
九、最後總結:多圖和高分辨率能力,決定的是 VLM 能不能真的進入生產場景
單張普通圖片問答,今天已經不是多模態系統最有區分度的能力了。
真正能決定一個 VLM 是否值得落地的,越來越是這些更工程化的問題:
- 多圖輸入能不能穩定比較
- 高分辨率下能不能看清細節又不拖垮成本
- 長圖和文檔頁能不能同時兼顧全局與局部
- 視覺 token 預算能不能和文本上下文、延遲、併發一起平衡
所以看一個多模態系統,不要只看它“能不能看圖”。
更要看它在複雜輸入條件下,是否有一套明確的輸入組織、token 預算和服務分層策略。
一句話總結:
多圖、高分辨率、長圖文場景的本質,不是讓模型“看更多”,而是讓系統在有限預算下,把真正重要的視覺信息送進去。
下一篇,我們繼續往前走,進入很多團隊真正會遇到的訓練問題:
多模態微調到底怎麼做?圖文數據怎麼配比?vision lr、llm lr、凍結策略這些關鍵參數該怎麼定?