上一篇我們把“圖像到底是怎麼接進語言模型”的底層鏈路拆開了。
現在可以往前走一步,進入很多人真正關心的問題:
同樣都是 VLM,為什麼 LLaVA、Qwen-VL、MiniCPM-V、InternVL 這些模型,實際體驗會差這麼多?
有些模型更像“給 LLM 加了看圖能力”,適合通用圖文問答。
有些模型明顯更擅長:
- 文檔理解
- OCR 文字讀取
- 多圖比較
- 高分辨率圖像輸入
- 移動端或邊緣端部署
還有些模型在 benchmark 上很強,但一上線就暴露出:
- 顯存壓力太大
- 輸入分辨率限制很死
- 圖文 token 太多
- OCR 穩定性一般
- 多圖場景延遲偏高
這背後並不只是“參數規模不同”。
更關鍵的是,它們在四個地方做了不同取捨:
- 視覺前端怎麼選:CLIP、SigLIP、InternViT 還是自研視覺 backbone
- 視覺信息怎麼接到 LLM 上:MLP projector、cross-attention,還是更復雜的連接結構
- 輸入策略怎麼做:固定分辨率、動態分辨率、切圖、tile、多圖組織
- 訓練目標和數據分佈偏向哪裡:偏通用對話、偏 OCR 文檔、偏高分辨率理解,還是偏輕量部署
這篇文章我想做的,不是羅列一堆模型名字,而是從工程視角講清楚:
主流 VLM 路線到底在設計上差在哪,這些差異最後又怎樣影響精度、吞吐、延遲、顯存和落地可用性。
如果你正在選型,或者準備自己搭建圖文系統,這篇比單純看排行榜更有用。
一、先給結論:主流 VLM 的差別,核心不在“會不會看圖”,而在“怎麼看、看多少、看完後怎麼交給 LLM”
很多入門討論容易把 VLM 模型看成同一種東西。
彷彿區別只是:
- 底模大小不同
- 參數量不同
- benchmark 分數不同
但如果從系統結構看,更關鍵的問題其實是這三個:
- 圖像先被編碼成什麼樣的視覺表示
- 這些視覺表示以什麼形式進入語言模型
- 模型是否被訓練去處理高分辨率、多圖、文檔和 OCR 這類複雜任務
這三件事會直接決定最終體驗。
比如兩個模型參數量接近,但如果一個:
- 只支持中等分辨率單圖
- 用簡單 MLP projector 接入
- 訓練數據以 caption 和通用 QA 為主
另一個:
- 支持動態高分辨率輸入
- 針對文檔和 OCR 做了專門數據增強
- 輸入組織和視覺 token 壓縮更激進
那它們在真實業務裡的表現,可能完全不是一個物種。
所以看主流 VLM,不要只問:
“哪個模型更強?”
而要問:
“它到底優化了哪類視覺任務,以及為此付出了什麼代價?”
二、先立一個分析框架:比較 VLM,我最建議看這五層
如果你以後要持續比較多模態模型,我建議固定看五層。
1)視覺編碼器層
關注點包括:
- 用的是什麼視覺 backbone
- patch size 多大
- 原生支持的輸入分辨率多高
- 是否偏向通用語義,還是偏向文檔/OCR 細節
這是模型“看圖的底座”。
2)模態橋接層
關注點包括:
- 是簡單線性映射還是多層 MLP
- 是否用了 cross-attention
- 是否存在 query-based 壓縮結構
- 視覺 token 是否會被重新採樣或壓縮
這決定視覺信息能不能高效、穩定地傳給 LLM。
3)語言主幹層
關注點包括:
- 用的是哪類 LLM 底模
- 上下文窗口多大
- 是否對工具調用、長上下文、多輪對話友好
視覺能力再強,如果語言主幹弱,多輪問答和複雜推理仍然會拉胯。
4)輸入組織層
關注點包括:
- 單圖還是多圖能力強
- 是否支持高分辨率切塊
- 圖像 token 會不會爆炸
- 文本和圖像的拼接順序如何組織
這直接決定部署時的吞吐和顯存成本。
5)訓練與任務偏置層
關注點包括:
- 數據是偏 caption、偏 VQA,還是偏 OCR / 文檔 / chart
- 是否有多輪多模態指令數據
- 是否做過專項強化,比如表格、GUI、數學圖像
這一層往往最容易被忽略,但實際最決定“模型適不適合你的業務”。
三、LLaVA 路線:為什麼它成了很多人理解 VLM 的起點?
如果說哪條路線最適合入門理解 VLM,基本就是 LLaVA。
因為它的設計非常典型,也非常工程化:
- 用已經訓練好的 vision encoder
- 用一個相對簡單的 projector 接到 LLM 上
- 再做多模態指令微調
這條路線的價值在於:
它把“多模態能力接到現成 LLM 上”這件事,做到了足夠清晰、足夠實用。
1)LLaVA 的核心思路:儘量少改結構,快速把視覺能力接進文本大模型
LLaVA 的典型做法可以概括成三步:
- 用 CLIP 類視覺編碼器把圖像變成視覺特徵
- 用 MLP projector 把視覺特徵映射到 LLM hidden size
- 把這些視覺 token 和文本 prompt 一起送入語言模型
它的優點非常明確:
- 結構簡單
- 容易復現
- 訓練成本相對可控
- 非常適合做開源社區擴展
這也是為什麼 LLaVA 系模型生態特別活躍。
2)LLaVA 路線的優勢:搭建門檻低,通用圖文問答性價比高
如果你的目標是:
- 先做一個能工作的圖文對話系統
- 單圖問答為主
- 不追求極端 OCR 和文檔精度
- 希望訓練和推理鏈路儘可能簡單
那 LLaVA 路線很合適。
它通常在這些場景裡夠用:
- 通用看圖問答
- 場景描述
- 簡單圖文推理
- 基礎教育演示
- 多模態聊天原型
3)LLaVA 路線的短板:高分辨率、文檔細節和複雜多圖任務往往不是強項
它的問題也很明顯。
由於很多 LLaVA 風格模型:
- 視覺輸入分辨率比較保守
- 連接方式偏輕量
- 訓練偏通用對話
所以一旦任務變成:
- 小字 OCR
- 高分辨率海報解析
- 多頁文檔理解
- 多圖細節比較
- GUI 元素定位
性能就常常開始掉。
這不是說 LLaVA 不行,而是它的設計目標本來就更偏:
以儘量低的結構複雜度,換取夠強的通用多模態能力。
4)部署視角怎麼看 LLaVA 路線
從部署角度,LLaVA 路線的優點是:
- pipeline 清晰
- 工程棧成熟
- 社區支持廣
- 容易接 vLLM、SGLang、Transformers 等推理框架
但你要注意幾個參數:
- 圖像分辨率上限
- 每張圖映射出的視覺 token 數
- projector 的額外顯存佔用
- 多圖場景下的 prefill 成本
如果你要做低成本原型或者 API 級圖文聊天,LLaVA 路線很值得優先考慮。
四、Qwen-VL 路線:為什麼它在中文、多模態對話和複雜任務適配上更受關注?
Qwen-VL 這條線之所以討論度很高,一個重要原因是它不是單純追求“能看圖”,而是更強調:
- 圖文對話體驗
- 中文場景可用性
- 複雜任務覆蓋
- 系統級多模態擴展能力
1)Qwen-VL 的吸引力,不只是視覺,而是“語言底座 + 多模態能力”的整體平衡
很多時候,真實使用感不是由視覺前端單獨決定的。
用戶最終感受到的是:
- 看圖是否準確
- 追問是否自然
- 中文解釋是否順
- 多輪交互是否穩
- 推理過程是否連貫
Qwen 系列本身在語言能力上就比較強,所以一旦多模態接得穩,整體體驗常常會比“視覺還行但語言主幹一般”的模型更完整。
2)Qwen-VL 類路線通常更重視多任務覆蓋,而不只是一張圖的 caption
在很多實際測評裡,Qwen-VL 系模型更常被拿去測:
- OCR
- 圖表理解
- 文檔問答
- 中文圖片內容解析
- 多輪多模態對話
這說明它的設計目標,本身就更偏向“實用型通用多模態助手”。
3)Qwen-VL 的工程含義:更容易作為通用產品底座,但也更考驗推理資源管理
如果你用 Qwen-VL 這類模型做線上服務,通常需要重點關注:
- 高分辨率輸入時的顯存曲線
- OCR/文檔類圖片導致的 token 增長
- 多輪歷史疊加後的上下文長度
- 圖像與文本交替輸入時的吞吐衰減
換句話說,它常常更“全能”,但也更容易在生產裡把資源吃滿。
4)Qwen-VL 更適合哪些場景?
如果你的業務更偏:
- 中文圖文問答
- 文檔和截圖理解
- 需要較強的語言解釋能力
- 希望模型兼顧聊天、OCR 和推理
那它通常比純 LLaVA 風格路線更有吸引力。
但前提是你願意接受更復雜的部署優化。
五、MiniCPM-V 路線:為什麼它經常出現在“輕量但 surprisingly strong”的討論裡?
MiniCPM-V 很有代表性,因為它體現了一類非常現實的工程目標:
不是一味做大,而是在有限參數和有限資源下,把多模態能力做到儘可能高。
1)MiniCPM-V 的核心價值:更強調效率、緊湊性和端側友好性
很多團隊並不需要一個超大多模態底模。
他們更關心的是:
- 單卡能不能跑
- 移動端或邊緣設備有沒有可能部署
- 延遲能不能接受
- 小模型下 OCR 和圖文問答還能不能打
MiniCPM-V 之所以受關注,就是因為它在這類約束下,往往能給出不錯的結果。
2)輕量模型為什麼還能有競爭力?
因為多模態系統的表現,並不只由參數量決定。
如果一個模型在這些地方優化得更好:
- 視覺 token 壓縮更有效
- 輸入分辨率策略更聰明
- 訓練數據分佈更貼近目標任務
- 指令數據質量更高
那它完全可能用更少參數,換來更好的單位成本表現。
3)MiniCPM-V 的典型適用場景
它更適合:
- 資源受限部署
- 本地或端側推理
- 中小規模圖文服務
- 對每次推理成本很敏感的產品
當然,代價也存在。
在極複雜場景下,比如:
- 超長文檔
- 大量多圖聯合推理
- 高難度跨區域關係理解
輕量路線通常還是會遇到能力上限。
4)部署上該怎麼看 MiniCPM-V
如果你重視的是“單位 GPU 預算下儘可能高的可用性”,MiniCPM-V 這條線很值得研究。
你需要重點觀察:
- 在 4bit / 8bit 量化後表現掉不掉
- OCR 精度與吞吐的平衡點在哪
- 在單圖、雙圖、多圖場景中的時延變化
- 在小 batch 和高併發下的穩定性
它不一定是“絕對最強”的路線,但很可能是“最划算”的路線之一。
六、InternVL 一類路線:為什麼它們常和高分辨率、多圖、文檔能力綁在一起?
除了 LLaVA、Qwen-VL、MiniCPM-V,另一個非常值得單獨看的方向是 InternVL 這一類更強調視覺能力上限的路線。
這類模型常被討論的關鍵詞是:
- 高分辨率理解
- 多圖能力
- 文檔與 OCR
- 更強視覺 backbone
- 更復雜輸入組織
1)這類路線的核心目標:別太早丟掉視覺細節
很多簡單多模態系統的問題在於:
- 圖片一 resize,細節就沒了
- patch 一粗化,文字就糊了
- 視覺 token 一壓縮,小目標和局部結構就被吞掉了
所以更強調高分辨率和文檔能力的路線,會想辦法保留更多細節。
典型做法包括:
- 動態分辨率輸入
- 多 tile 組織
- 更強視覺編碼器
- 對 OCR / 文檔 / chart 做專項訓練
2)這類路線的優勢:細節任務更穩
如果你測試的是這些任務:
- 頁面級文檔問答
- 小字識別
- 長圖解析
- 表格與圖表讀取
- 多圖拼接理解
這類模型通常會比簡單單圖低分辨率路線更穩。
3)代價也很直接:token、顯存、延遲都會更重
這是所有高分辨率路線繞不開的現實。
因為只要你保留更多視覺細節,就幾乎一定會帶來:
- 更多視覺 token
- 更重的 prefill
- 更高的顯存佔用
- 更差的多併發能力
所以這類模型通常更適合:
- 高價值任務
- 對精度要求高的企業場景
- 願意為圖像理解質量支付更多算力成本的系統
而不一定適合那種低價高併發的輕聊天服務。
七、為什麼有的模型擅長通用對話,有的模型擅長文檔/OCR?
這個問題很關鍵。
很多人容易誤以為:
文檔、OCR、圖表理解,只是“看圖能力更強一點”的結果。
其實不是。
它們在訓練和結構上往往就是不同任務。
1)通用對話更依賴語言主幹和多模態指令跟隨能力
如果任務主要是:
- 圖像描述
- 開放問答
- 聊天式交互
- 多輪追問
那麼語言主幹質量和多模態指令數據會非常關鍵。
這類場景裡,語言表達自然、邏輯清晰、追問穩定,往往比 OCR 每個字都準更重要。
2)OCR / 文檔更依賴高分辨率視覺輸入和專項訓練
如果任務變成:
- 識別小字號文字
- 讀取票據、合同、課件
- 理解表格和複雜排版
- 對截圖中的按鈕、字段、位置做判斷
那決定結果的關鍵就變成:
- 視覺細節是否保住
- 是否做了 OCR / DocVQA / ChartQA 類訓練
- 是否支持更適合文檔的分辨率與輸入組織
3)所以“誰更強”本來就是任務相關問題
如果你做的是商品圖問答,也許 LLaVA 風格模型已經夠用。
如果你做的是中文發票、PPT、論文截圖和表格問答,那很多時候更該優先看 Qwen-VL、InternVL 這類更偏複雜圖文任務的路線。
如果你做的是端側助手,那 MiniCPM-V 可能比“大而全”的路線更合適。
這也是為什麼多模態選型不能只看一個總榜。
八、從參數視角看:這些模型到底該重點盯哪些配置?
如果你準備部署或微調主流 VLM,我建議重點關注以下參數。
1)圖像分辨率
這是最直接影響視覺細節和成本的參數。
你要看:
- 默認輸入分辨率是多少
- 是否支持動態分辨率
- 是否支持多 tile
- 分辨率上升後 token 增長是否線性可控
2)視覺 token 數量
很多論文不會把它講得特別直白,但工程上必須算。
因為它直接影響:
- prefill 時延
- 顯存佔用
- 多圖能力
- 上下文窗口壓力
3)projector / connector 規模
這會影響:
- 視覺信息傳輸能力
- 模態對齊質量
- 微調難度
- 訓練穩定性
如果 connector 太弱,模型容易“看得到大概,看不準細節”。
4)上下文長度
多模態系統的上下文,常常不只是文本窗口。
你要把這些一起算進去:
- 圖像 token
- OCR 生成的中間文本
- 用戶歷史輪次
- 模型輸出長度
很多線上事故,本質上都是上下文預算沒算清楚。
5)量化位寬與推理框架兼容性
比如:
- FP16
- BF16
- INT8
- 4bit AWQ / GPTQ / GGUF
你要看量化後:
- OCR 是否明顯掉點
- 圖像細節理解是否惡化
- 推理框架是否支持視覺模塊
- KV cache 和多模態前處理是否兼容
VLM 的量化通常比純文本 LLM 更敏感。
因為視覺誤差一旦放大,很容易直接影響最終回答。
九、如果讓我按場景給建議,我會怎麼選?
這裡我給一個工程化的粗分法。
1)如果你要做低門檻通用圖文聊天原型
優先看:
- LLaVA 路線
- 社區成熟的輕量多模態模型
原因是:
- 好接
- 資料多
- 推理棧成熟
- 足夠做 demo 和原型
2)如果你要做中文圖文助手、截圖問答、文檔解析
優先看:
- Qwen-VL 系
- InternVL 一類更偏複雜視覺任務的模型
原因是:
- 語言和多模態整體平衡更好
- 對中文和複雜任務通常更友好
- 更適合真實產品交互
3)如果你要做資源受限部署
優先看:
- MiniCPM-V 這類輕量高效路線
原因是:
- 單位成本更優
- 更適合本地/邊緣部署
- 更容易在有限 GPU 或端側資源下落地
4)如果你要做高精度文檔、OCR、多圖高分辨率任務
優先看:
- 更強調高分辨率輸入和文檔能力的路線
- 能處理 tile / dynamic resolution 的模型
原因是:
- 這類任務本質上吃視覺細節
- 簡單單圖低分辨率模型很容易不穩
換句話說,選型不要問“社區最火的是誰”。
而要問:
你的輸入長什麼樣、任務長什麼樣、預算長什麼樣。
十、部署落地時,主流 VLM 最常見的幾個坑
1)只看 benchmark,不看真實輸入分佈
很多模型在公開 benchmark 上很強,但你的業務圖片可能是:
- 手機截圖
- 長網頁
- Excel 導出圖
- 模糊拍照
- 帶水印壓縮圖
這時公開分數未必能代表真實效果。
2)只看參數量,不看視覺 token 成本
有時候小模型配高分辨率多圖輸入,實際成本並不比中模型低。
因為視覺 token 才是吞吐殺手之一。
3)忽略圖像預處理的一致性
比如:
- resize 方式不同
- 長寬比拉伸
- tile 順序不一致
- 圖像歸一化處理不統一
這些都可能讓線上效果波動非常大。
4)把純文本推理經驗直接套到多模態上
純文本 LLM 裡常用的一些優化思路,到了 VLM 上未必直接適用。
因為你還要額外考慮:
- 視覺前處理耗時
- 圖像 token 注入方式
- 多模態 cache 行為
- 量化對視覺模塊的影響
所以 VLM 部署一定要單獨做 profiling。
十一、最後總結
主流 VLM 模型之間的差別,表面上看是“名字不同、底模不同、參數不同”。
但從工程視角看,真正決定體驗的,是下面這幾組取捨:
- 視覺 backbone 強不強
- 圖像分辨率和視覺 token 預算怎麼控制
- 模態橋接模塊是輕量優先還是表達優先
- 訓練數據偏通用對話,還是偏 OCR / 文檔 / 高分辨率任務
- 部署目標是大模型服務,還是輕量端側落地
如果用一句話概括:
LLaVA 更像“結構清晰、工程友好的通用接法”,Qwen-VL 更像“語言與多模態整體平衡更強的通用助手路線”,MiniCPM-V 更像“資源受限條件下追求單位成本效率的路線”,而 InternVL 一類則更偏“把視覺細節和複雜圖文任務能力往上頂”。
所以別再籠統地問“誰最強”。
更應該問:
- 你的任務是通用圖文聊天,還是文檔/OCR?
- 你的部署預算是單卡、本地,還是多卡服務?
- 你最怕的是延遲、顯存,還是精度不穩?
這些問題想清楚,模型選型會容易很多。
下一篇我會繼續寫更具體的一層:
多圖輸入、高分辨率理解和長圖文場景到底怎麼做?為什麼很多 VLM 單圖還行,一到多圖和長圖就開始掉隊?
那篇會重點把 image resolution、tiling、multi-image、視覺 token 爆炸和部署優化這條線徹底展開。