上一篇我們把“圖像到底是怎麼接進語言模型”的底層鏈路拆開了。

現在可以往前走一步,進入很多人真正關心的問題:

同樣都是 VLM,為什麼 LLaVA、Qwen-VL、MiniCPM-V、InternVL 這些模型,實際體驗會差這麼多?

有些模型更像“給 LLM 加了看圖能力”,適合通用圖文問答。

有些模型明顯更擅長:

  • 文檔理解
  • OCR 文字讀取
  • 多圖比較
  • 高分辨率圖像輸入
  • 移動端或邊緣端部署

還有些模型在 benchmark 上很強,但一上線就暴露出:

  • 顯存壓力太大
  • 輸入分辨率限制很死
  • 圖文 token 太多
  • OCR 穩定性一般
  • 多圖場景延遲偏高

這背後並不只是“參數規模不同”。

更關鍵的是,它們在四個地方做了不同取捨:

  1. 視覺前端怎麼選:CLIP、SigLIP、InternViT 還是自研視覺 backbone
  2. 視覺信息怎麼接到 LLM 上:MLP projector、cross-attention,還是更復雜的連接結構
  3. 輸入策略怎麼做:固定分辨率、動態分辨率、切圖、tile、多圖組織
  4. 訓練目標和數據分佈偏向哪裡:偏通用對話、偏 OCR 文檔、偏高分辨率理解,還是偏輕量部署

這篇文章我想做的,不是羅列一堆模型名字,而是從工程視角講清楚:

主流 VLM 路線到底在設計上差在哪,這些差異最後又怎樣影響精度、吞吐、延遲、顯存和落地可用性。

如果你正在選型,或者準備自己搭建圖文系統,這篇比單純看排行榜更有用。


一、先給結論:主流 VLM 的差別,核心不在“會不會看圖”,而在“怎麼看、看多少、看完後怎麼交給 LLM”

很多入門討論容易把 VLM 模型看成同一種東西。

彷彿區別只是:

  • 底模大小不同
  • 參數量不同
  • benchmark 分數不同

但如果從系統結構看,更關鍵的問題其實是這三個:

  • 圖像先被編碼成什麼樣的視覺表示
  • 這些視覺表示以什麼形式進入語言模型
  • 模型是否被訓練去處理高分辨率、多圖、文檔和 OCR 這類複雜任務

這三件事會直接決定最終體驗。

比如兩個模型參數量接近,但如果一個:

  • 只支持中等分辨率單圖
  • 用簡單 MLP projector 接入
  • 訓練數據以 caption 和通用 QA 為主

另一個:

  • 支持動態高分辨率輸入
  • 針對文檔和 OCR 做了專門數據增強
  • 輸入組織和視覺 token 壓縮更激進

那它們在真實業務裡的表現,可能完全不是一個物種。

所以看主流 VLM,不要只問:

“哪個模型更強?”

而要問:

“它到底優化了哪類視覺任務,以及為此付出了什麼代價?”


二、先立一個分析框架:比較 VLM,我最建議看這五層

如果你以後要持續比較多模態模型,我建議固定看五層。

1)視覺編碼器層

關注點包括:

  • 用的是什麼視覺 backbone
  • patch size 多大
  • 原生支持的輸入分辨率多高
  • 是否偏向通用語義,還是偏向文檔/OCR 細節

這是模型“看圖的底座”。

2)模態橋接層

關注點包括:

  • 是簡單線性映射還是多層 MLP
  • 是否用了 cross-attention
  • 是否存在 query-based 壓縮結構
  • 視覺 token 是否會被重新採樣或壓縮

這決定視覺信息能不能高效、穩定地傳給 LLM。

3)語言主幹層

關注點包括:

  • 用的是哪類 LLM 底模
  • 上下文窗口多大
  • 是否對工具調用、長上下文、多輪對話友好

視覺能力再強,如果語言主幹弱,多輪問答和複雜推理仍然會拉胯。

4)輸入組織層

關注點包括:

  • 單圖還是多圖能力強
  • 是否支持高分辨率切塊
  • 圖像 token 會不會爆炸
  • 文本和圖像的拼接順序如何組織

這直接決定部署時的吞吐和顯存成本。

5)訓練與任務偏置層

關注點包括:

  • 數據是偏 caption、偏 VQA,還是偏 OCR / 文檔 / chart
  • 是否有多輪多模態指令數據
  • 是否做過專項強化,比如表格、GUI、數學圖像

這一層往往最容易被忽略,但實際最決定“模型適不適合你的業務”。


三、LLaVA 路線:為什麼它成了很多人理解 VLM 的起點?

如果說哪條路線最適合入門理解 VLM,基本就是 LLaVA。

因為它的設計非常典型,也非常工程化:

  • 用已經訓練好的 vision encoder
  • 用一個相對簡單的 projector 接到 LLM 上
  • 再做多模態指令微調

這條路線的價值在於:

它把“多模態能力接到現成 LLM 上”這件事,做到了足夠清晰、足夠實用。

1)LLaVA 的核心思路:儘量少改結構,快速把視覺能力接進文本大模型

LLaVA 的典型做法可以概括成三步:

  1. 用 CLIP 類視覺編碼器把圖像變成視覺特徵
  2. 用 MLP projector 把視覺特徵映射到 LLM hidden size
  3. 把這些視覺 token 和文本 prompt 一起送入語言模型

它的優點非常明確:

  • 結構簡單
  • 容易復現
  • 訓練成本相對可控
  • 非常適合做開源社區擴展

這也是為什麼 LLaVA 系模型生態特別活躍。

2)LLaVA 路線的優勢:搭建門檻低,通用圖文問答性價比高

如果你的目標是:

  • 先做一個能工作的圖文對話系統
  • 單圖問答為主
  • 不追求極端 OCR 和文檔精度
  • 希望訓練和推理鏈路儘可能簡單

那 LLaVA 路線很合適。

它通常在這些場景裡夠用:

  • 通用看圖問答
  • 場景描述
  • 簡單圖文推理
  • 基礎教育演示
  • 多模態聊天原型

3)LLaVA 路線的短板:高分辨率、文檔細節和複雜多圖任務往往不是強項

它的問題也很明顯。

由於很多 LLaVA 風格模型:

  • 視覺輸入分辨率比較保守
  • 連接方式偏輕量
  • 訓練偏通用對話

所以一旦任務變成:

  • 小字 OCR
  • 高分辨率海報解析
  • 多頁文檔理解
  • 多圖細節比較
  • GUI 元素定位

性能就常常開始掉。

這不是說 LLaVA 不行,而是它的設計目標本來就更偏:

以儘量低的結構複雜度,換取夠強的通用多模態能力。

4)部署視角怎麼看 LLaVA 路線

從部署角度,LLaVA 路線的優點是:

  • pipeline 清晰
  • 工程棧成熟
  • 社區支持廣
  • 容易接 vLLM、SGLang、Transformers 等推理框架

但你要注意幾個參數:

  • 圖像分辨率上限
  • 每張圖映射出的視覺 token 數
  • projector 的額外顯存佔用
  • 多圖場景下的 prefill 成本

如果你要做低成本原型或者 API 級圖文聊天,LLaVA 路線很值得優先考慮。


四、Qwen-VL 路線:為什麼它在中文、多模態對話和複雜任務適配上更受關注?

Qwen-VL 這條線之所以討論度很高,一個重要原因是它不是單純追求“能看圖”,而是更強調:

  • 圖文對話體驗
  • 中文場景可用性
  • 複雜任務覆蓋
  • 系統級多模態擴展能力

1)Qwen-VL 的吸引力,不只是視覺,而是“語言底座 + 多模態能力”的整體平衡

很多時候,真實使用感不是由視覺前端單獨決定的。

用戶最終感受到的是:

  • 看圖是否準確
  • 追問是否自然
  • 中文解釋是否順
  • 多輪交互是否穩
  • 推理過程是否連貫

Qwen 系列本身在語言能力上就比較強,所以一旦多模態接得穩,整體體驗常常會比“視覺還行但語言主幹一般”的模型更完整。

2)Qwen-VL 類路線通常更重視多任務覆蓋,而不只是一張圖的 caption

在很多實際測評裡,Qwen-VL 系模型更常被拿去測:

  • OCR
  • 圖表理解
  • 文檔問答
  • 中文圖片內容解析
  • 多輪多模態對話

這說明它的設計目標,本身就更偏向“實用型通用多模態助手”。

3)Qwen-VL 的工程含義:更容易作為通用產品底座,但也更考驗推理資源管理

如果你用 Qwen-VL 這類模型做線上服務,通常需要重點關注:

  • 高分辨率輸入時的顯存曲線
  • OCR/文檔類圖片導致的 token 增長
  • 多輪歷史疊加後的上下文長度
  • 圖像與文本交替輸入時的吞吐衰減

換句話說,它常常更“全能”,但也更容易在生產裡把資源吃滿。

4)Qwen-VL 更適合哪些場景?

如果你的業務更偏:

  • 中文圖文問答
  • 文檔和截圖理解
  • 需要較強的語言解釋能力
  • 希望模型兼顧聊天、OCR 和推理

那它通常比純 LLaVA 風格路線更有吸引力。

但前提是你願意接受更復雜的部署優化。


五、MiniCPM-V 路線:為什麼它經常出現在“輕量但 surprisingly strong”的討論裡?

MiniCPM-V 很有代表性,因為它體現了一類非常現實的工程目標:

不是一味做大,而是在有限參數和有限資源下,把多模態能力做到儘可能高。

1)MiniCPM-V 的核心價值:更強調效率、緊湊性和端側友好性

很多團隊並不需要一個超大多模態底模。

他們更關心的是:

  • 單卡能不能跑
  • 移動端或邊緣設備有沒有可能部署
  • 延遲能不能接受
  • 小模型下 OCR 和圖文問答還能不能打

MiniCPM-V 之所以受關注,就是因為它在這類約束下,往往能給出不錯的結果。

2)輕量模型為什麼還能有競爭力?

因為多模態系統的表現,並不只由參數量決定。

如果一個模型在這些地方優化得更好:

  • 視覺 token 壓縮更有效
  • 輸入分辨率策略更聰明
  • 訓練數據分佈更貼近目標任務
  • 指令數據質量更高

那它完全可能用更少參數,換來更好的單位成本表現。

3)MiniCPM-V 的典型適用場景

它更適合:

  • 資源受限部署
  • 本地或端側推理
  • 中小規模圖文服務
  • 對每次推理成本很敏感的產品

當然,代價也存在。

在極複雜場景下,比如:

  • 超長文檔
  • 大量多圖聯合推理
  • 高難度跨區域關係理解

輕量路線通常還是會遇到能力上限。

4)部署上該怎麼看 MiniCPM-V

如果你重視的是“單位 GPU 預算下儘可能高的可用性”,MiniCPM-V 這條線很值得研究。

你需要重點觀察:

  • 在 4bit / 8bit 量化後表現掉不掉
  • OCR 精度與吞吐的平衡點在哪
  • 在單圖、雙圖、多圖場景中的時延變化
  • 在小 batch 和高併發下的穩定性

它不一定是“絕對最強”的路線,但很可能是“最划算”的路線之一。


六、InternVL 一類路線:為什麼它們常和高分辨率、多圖、文檔能力綁在一起?

除了 LLaVA、Qwen-VL、MiniCPM-V,另一個非常值得單獨看的方向是 InternVL 這一類更強調視覺能力上限的路線。

這類模型常被討論的關鍵詞是:

  • 高分辨率理解
  • 多圖能力
  • 文檔與 OCR
  • 更強視覺 backbone
  • 更復雜輸入組織

1)這類路線的核心目標:別太早丟掉視覺細節

很多簡單多模態系統的問題在於:

  • 圖片一 resize,細節就沒了
  • patch 一粗化,文字就糊了
  • 視覺 token 一壓縮,小目標和局部結構就被吞掉了

所以更強調高分辨率和文檔能力的路線,會想辦法保留更多細節。

典型做法包括:

  • 動態分辨率輸入
  • 多 tile 組織
  • 更強視覺編碼器
  • 對 OCR / 文檔 / chart 做專項訓練

2)這類路線的優勢:細節任務更穩

如果你測試的是這些任務:

  • 頁面級文檔問答
  • 小字識別
  • 長圖解析
  • 表格與圖表讀取
  • 多圖拼接理解

這類模型通常會比簡單單圖低分辨率路線更穩。

3)代價也很直接:token、顯存、延遲都會更重

這是所有高分辨率路線繞不開的現實。

因為只要你保留更多視覺細節,就幾乎一定會帶來:

  • 更多視覺 token
  • 更重的 prefill
  • 更高的顯存佔用
  • 更差的多併發能力

所以這類模型通常更適合:

  • 高價值任務
  • 對精度要求高的企業場景
  • 願意為圖像理解質量支付更多算力成本的系統

而不一定適合那種低價高併發的輕聊天服務。


七、為什麼有的模型擅長通用對話,有的模型擅長文檔/OCR?

這個問題很關鍵。

很多人容易誤以為:

文檔、OCR、圖表理解,只是“看圖能力更強一點”的結果。

其實不是。

它們在訓練和結構上往往就是不同任務。

1)通用對話更依賴語言主幹和多模態指令跟隨能力

如果任務主要是:

  • 圖像描述
  • 開放問答
  • 聊天式交互
  • 多輪追問

那麼語言主幹質量和多模態指令數據會非常關鍵。

這類場景裡,語言表達自然、邏輯清晰、追問穩定,往往比 OCR 每個字都準更重要。

2)OCR / 文檔更依賴高分辨率視覺輸入和專項訓練

如果任務變成:

  • 識別小字號文字
  • 讀取票據、合同、課件
  • 理解表格和複雜排版
  • 對截圖中的按鈕、字段、位置做判斷

那決定結果的關鍵就變成:

  • 視覺細節是否保住
  • 是否做了 OCR / DocVQA / ChartQA 類訓練
  • 是否支持更適合文檔的分辨率與輸入組織

3)所以“誰更強”本來就是任務相關問題

如果你做的是商品圖問答,也許 LLaVA 風格模型已經夠用。

如果你做的是中文發票、PPT、論文截圖和表格問答,那很多時候更該優先看 Qwen-VL、InternVL 這類更偏複雜圖文任務的路線。

如果你做的是端側助手,那 MiniCPM-V 可能比“大而全”的路線更合適。

這也是為什麼多模態選型不能只看一個總榜。


八、從參數視角看:這些模型到底該重點盯哪些配置?

如果你準備部署或微調主流 VLM,我建議重點關注以下參數。

1)圖像分辨率

這是最直接影響視覺細節和成本的參數。

你要看:

  • 默認輸入分辨率是多少
  • 是否支持動態分辨率
  • 是否支持多 tile
  • 分辨率上升後 token 增長是否線性可控

2)視覺 token 數量

很多論文不會把它講得特別直白,但工程上必須算。

因為它直接影響:

  • prefill 時延
  • 顯存佔用
  • 多圖能力
  • 上下文窗口壓力

3)projector / connector 規模

這會影響:

  • 視覺信息傳輸能力
  • 模態對齊質量
  • 微調難度
  • 訓練穩定性

如果 connector 太弱,模型容易“看得到大概,看不準細節”。

4)上下文長度

多模態系統的上下文,常常不只是文本窗口。

你要把這些一起算進去:

  • 圖像 token
  • OCR 生成的中間文本
  • 用戶歷史輪次
  • 模型輸出長度

很多線上事故,本質上都是上下文預算沒算清楚。

5)量化位寬與推理框架兼容性

比如:

  • FP16
  • BF16
  • INT8
  • 4bit AWQ / GPTQ / GGUF

你要看量化後:

  • OCR 是否明顯掉點
  • 圖像細節理解是否惡化
  • 推理框架是否支持視覺模塊
  • KV cache 和多模態前處理是否兼容

VLM 的量化通常比純文本 LLM 更敏感。

因為視覺誤差一旦放大,很容易直接影響最終回答。


九、如果讓我按場景給建議,我會怎麼選?

這裡我給一個工程化的粗分法。

1)如果你要做低門檻通用圖文聊天原型

優先看:

  • LLaVA 路線
  • 社區成熟的輕量多模態模型

原因是:

  • 好接
  • 資料多
  • 推理棧成熟
  • 足夠做 demo 和原型

2)如果你要做中文圖文助手、截圖問答、文檔解析

優先看:

  • Qwen-VL 系
  • InternVL 一類更偏複雜視覺任務的模型

原因是:

  • 語言和多模態整體平衡更好
  • 對中文和複雜任務通常更友好
  • 更適合真實產品交互

3)如果你要做資源受限部署

優先看:

  • MiniCPM-V 這類輕量高效路線

原因是:

  • 單位成本更優
  • 更適合本地/邊緣部署
  • 更容易在有限 GPU 或端側資源下落地

4)如果你要做高精度文檔、OCR、多圖高分辨率任務

優先看:

  • 更強調高分辨率輸入和文檔能力的路線
  • 能處理 tile / dynamic resolution 的模型

原因是:

  • 這類任務本質上吃視覺細節
  • 簡單單圖低分辨率模型很容易不穩

換句話說,選型不要問“社區最火的是誰”。

而要問:

你的輸入長什麼樣、任務長什麼樣、預算長什麼樣。


十、部署落地時,主流 VLM 最常見的幾個坑

1)只看 benchmark,不看真實輸入分佈

很多模型在公開 benchmark 上很強,但你的業務圖片可能是:

  • 手機截圖
  • 長網頁
  • Excel 導出圖
  • 模糊拍照
  • 帶水印壓縮圖

這時公開分數未必能代表真實效果。

2)只看參數量,不看視覺 token 成本

有時候小模型配高分辨率多圖輸入,實際成本並不比中模型低。

因為視覺 token 才是吞吐殺手之一。

3)忽略圖像預處理的一致性

比如:

  • resize 方式不同
  • 長寬比拉伸
  • tile 順序不一致
  • 圖像歸一化處理不統一

這些都可能讓線上效果波動非常大。

4)把純文本推理經驗直接套到多模態上

純文本 LLM 裡常用的一些優化思路,到了 VLM 上未必直接適用。

因為你還要額外考慮:

  • 視覺前處理耗時
  • 圖像 token 注入方式
  • 多模態 cache 行為
  • 量化對視覺模塊的影響

所以 VLM 部署一定要單獨做 profiling。


十一、最後總結

主流 VLM 模型之間的差別,表面上看是“名字不同、底模不同、參數不同”。

但從工程視角看,真正決定體驗的,是下面這幾組取捨:

  • 視覺 backbone 強不強
  • 圖像分辨率和視覺 token 預算怎麼控制
  • 模態橋接模塊是輕量優先還是表達優先
  • 訓練數據偏通用對話,還是偏 OCR / 文檔 / 高分辨率任務
  • 部署目標是大模型服務,還是輕量端側落地

如果用一句話概括:

LLaVA 更像“結構清晰、工程友好的通用接法”,Qwen-VL 更像“語言與多模態整體平衡更強的通用助手路線”,MiniCPM-V 更像“資源受限條件下追求單位成本效率的路線”,而 InternVL 一類則更偏“把視覺細節和複雜圖文任務能力往上頂”。

所以別再籠統地問“誰最強”。

更應該問:

  • 你的任務是通用圖文聊天,還是文檔/OCR?
  • 你的部署預算是單卡、本地,還是多卡服務?
  • 你最怕的是延遲、顯存,還是精度不穩?

這些問題想清楚,模型選型會容易很多。

下一篇我會繼續寫更具體的一層:

多圖輸入、高分辨率理解和長圖文場景到底怎麼做?為什麼很多 VLM 單圖還行,一到多圖和長圖就開始掉隊?

那篇會重點把 image resolution、tiling、multi-image、視覺 token 爆炸和部署優化這條線徹底展開。