前一篇我們剛把 RAG 這條鏈路拆開。

如果說 RAG 解決的是“模型回答之前,怎麼先去看外部資料”,那從今天開始,系列要正式切進另一條非常關鍵的主線:

語言模型到底是怎麼開始“看圖”的?

很多人第一次接觸 VLM 或 MLLM 時,會有一種很自然的直覺:

  • LLM 負責理解文本
  • 再加一個圖像編碼器
  • 把圖像信息喂進去
  • 模型就能看圖說話了

這個理解方向不算錯,但太粗了。

真正一落到模型結構、訓練流程和部署工程上,問題馬上就會變得具體很多:

  • 圖像本來是像素,語言模型吃的是 token,中間到底怎麼接?
  • 視覺編碼器為什麼大多用 ViT / CLIP 這一類結構,而不是直接把原圖扔給 LLM?
  • projector 到底是什麼,它為什麼在很多多模態結構裡存在感這麼強?
  • 圖像到底被編碼成多少視覺 token?這個數量受什麼控制?
  • cross-attention、MLP projector、Q-Former 這些接法有什麼差別?
  • 為什麼圖像分辨率一升,顯存和延遲就很容易爆?
  • 訓練時到底在“對齊”什麼?是圖文配對就夠了,還是還要多模態指令數據?

這些問題背後,本質上都在指向一件事:

VLM 不是簡單給 LLM 加一雙“眼睛”,而是在語言模型主幹之外,額外構造一套視覺表徵、模態對齊和信息注入機制。

這篇文章,我想把這條鏈路從工程視角講清楚。

我會重點講六件事:

  1. 圖像為什麼不能直接餵給 LLM,視覺編碼器到底在做什麼
  2. 視覺 token 是怎麼來的,patch size、resolution 為什麼會直接影響成本
  3. projector / adapter 到底在解決什麼問題
  4. 主流圖像接入路線:MLP 投影、cross-attention、Q-Former 各自適合什麼場景
  5. 訓練時的“對齊”到底在對齊什麼,為什麼光有圖文對還不夠
  6. 部署時最容易踩的坑:視覺 token 爆炸、延遲上升、圖文對齊不穩

如果你正在看 LLaVA、Qwen-VL、InternVL、MiniCPM-V,或者準備把多模態能力接進真實業務,這篇基本就是理解 VLM 結構的起點。


一、先說結論:圖像不是“被語言模型直接理解”,而是先被變成一種可被語言模型消費的離散或連續表示

很多入門介紹會把 VLM 說成:

  • 圖像輸入
  • 模型理解
  • 文本輸出

但這會隱藏一個最關鍵的事實:

語言模型本身並不天然理解像素。

LLM 之所以能工作,是因為它處理的是 token 序列。

而原始圖像是:

  • 寬和高構成的二維像素網格
  • 每個像素包含 RGB 或其他通道值
  • 空間結構強、冗餘高
  • 和文本 token 的統計結構完全不同

所以圖像如果要“接入”語言模型,至少要先完成一層轉換:

把像素空間裡的視覺信息,壓縮成某種語言模型可以繼續處理的表示。

這個轉換,一般就是視覺編碼器在做。

1)視覺編碼器不是簡單提特徵,而是在做“視覺世界的前端語義壓縮”

它的工作不只是把圖縮小,而是把原始圖像變成:

  • 更緊湊的表示
  • 帶有語義結構的表示
  • 能和語言側進一步對齊的表示

你可以把它類比成:

  • tokenizer 把文本切成 token
  • vision encoder 把圖像切成 patch,並編碼成視覺 embedding

當然這兩個過程並不完全一樣,但在系統角色上有點類似:

它們都在把原始模態,變成後續主幹網絡更容易處理的單位。

2)為什麼不能直接把整張圖片 flatten 之後送進 LLM?

原因很現實:

  • 原始像素維度太高
  • 視覺局部結構很強,直接展平會破壞空間歸納偏置
  • LLM 對二維局部感受野並不天然友好
  • 訓練成本和序列長度會直接失控

所以現實裡的多模態系統,幾乎都會先讓視覺側自己做一輪編碼。

這也是為什麼 VLM 很少從“純 LLM 主幹”直接長出來,而是通常由:

  • 一個視覺編碼器
  • 一個模態連接模塊
  • 一個語言模型主幹

三部分組成。


二、視覺編碼器為什麼大多是 ViT / CLIP 路線?

今天主流 VLM 裡,最常見的視覺前端基本都繞不開這幾類:

  • ViT
  • CLIP Vision Encoder
  • EVA / SigLIP / InternViT 等視覺 backbone

它們雖然訓練目標不同,但工程上扮演的角色很接近:

先把圖像切成 patch,再把 patch 編碼成一串視覺 token 或視覺特徵。

1)ViT 的基本思路,就是把圖像 patch 化後當序列處理

這也是它和 LLM 更容易接軌的原因。

假設一張圖分辨率是:

  • 224 × 224

如果 patch size 是:

  • 14 × 14

那麼圖像會被切成:

(224/14)×(224/14)=16×16=256(224 / 14) \times (224 / 14) = 16 \times 16 = 256

個 patch。

每個 patch 再被映射成一個向量,後續通過 Transformer 繼續編碼。

於是圖像就從二維像素網格,變成了一段長度約為 256 的視覺序列。

這一步非常關鍵。

因為從這裡開始,視覺側和語言側至少在“序列化處理”這件事上開始變得兼容。

2)為什麼很多多模態模型喜歡直接複用 CLIP vision encoder?

因為 CLIP 系列視覺編碼器已經在大規模圖文對數據上做過對齊預訓練。

這意味著它天然有幾個優勢:

  • 視覺特徵語義性比較強
  • 圖文空間已經有一定對應關係
  • 不需要從零開始學“圖像裡什麼是可說的”
  • 可以顯著降低多模態系統的訓練成本

所以像很多 LLaVA 路線的模型,本質上就是:

  • 拿一個已經訓練好的 vision encoder
  • 再想辦法把它的輸出接進 LLM

這比從像素到語言完全端到端重新訓,要現實得多。

3)視覺編碼器選型,會直接影響精度、速度和顯存

這裡有幾個常見參數會非常關鍵:

  • backbone 規模:B / L / H 級別
  • hidden size
  • patch size
  • 輸入分辨率
  • 是否支持高分辨率或動態分辨率

這些參數並不是“模型論文裡的裝飾品”,而是會非常直接地影響:

  • 視覺 token 數量
  • 單張圖的推理時延
  • 顯存消耗
  • 多圖場景能不能扛住

所以選視覺 backbone 時,不能只看 benchmark 分。

視覺前端在多模態系統裡,本身就是吞吐和成本的大頭之一。


三、視覺 token 是怎麼來的?為什麼 patch size 和 resolution 會直接決定系統成本?

這一點非常值得單獨拿出來講。

因為很多人第一次看 VLM,只注意“它能看圖”,卻忽略了:

圖像一旦進入序列模型,代價經常是按 token 算的。

1)圖像分辨率越高,視覺 token 通常越多

如果 patch size 固定,resolution 一升,patch 數就會迅速上去。

舉個最直觀的例子。

當 patch size 固定為 14 × 14:

  • 224 × 224 → 16 × 16 = 256 個 patch
  • 448 × 448 → 32 × 32 = 1024 個 patch

也就是說,邊長翻倍,視覺 token 數會接近變成原來的 4 倍。

而 attention 的計算開銷,對序列長度通常還不是線性上升。

這就是為什麼高分辨率輸入一上去,系統代價會突然變得很重。

2)patch size 越小,局部細節更豐富,但 token 成本更高

patch size 可以粗略理解成“每個視覺 token 覆蓋多大圖像區域”。

  • patch 小:保留更多局部細節,但 token 更多
  • patch 大:token 更少,但局部信息更粗

這就帶來一個很典型的工程 trade-off:

  • OCR、圖表、小物體、細粒度定位任務,通常更吃高分辨率和更細粒度視覺 token
  • 通用看圖問答、粗粒度語義描述,對 patch 細度要求沒那麼極端

所以 VLM 的視覺分辨率參數,絕不是“開越高越好”。

它其實是在平衡:

  • 精細視覺理解
  • token 成本
  • 顯存預算
  • 延遲約束

3)多圖輸入時,視覺 token 爆炸會更嚴重

單圖都已經很貴了,多圖場景會更明顯。

假設每張圖 576 個視覺 token,4 張圖就是:

  • 4 × 576 = 2304 個視覺 token

如果再加上文本輸入和長輸出,整段上下文很快就會逼近模型窗口上限,或者讓 prefill 成本大幅上升。

這就是為什麼多圖、長圖、高清圖這些能力,在 demo 上看起來很酷,但一進生產就必須非常認真地做 token 預算。


四、projector 到底是什麼?它為什麼在多模態模型裡幾乎繞不過去?

如果說視覺編碼器負責把圖片變成視覺特徵,那麼 projector 解決的就是下一步問題:

這些視覺特徵,怎麼才能被語言模型主幹順利接住?

因為視覺側和語言側往往並不天然兼容。

它們可能在這些方面都不一致:

  • embedding 維度不同
  • 特徵分佈不同
  • 語義空間不同
  • 序列組織方式不同

所以必須有一箇中間模塊,負責把視覺表示“翻譯”成語言側更容易消費的形式。

這類模塊通常就被統稱為:

  • projector
  • adapter
  • connector
  • bridging module

1)最基礎的 projector,常常就是一層或多層 MLP

很多早期或輕量路線會用非常直接的做法:

  • 取 vision encoder 輸出
  • 過一層線性映射或兩層 MLP
  • 把維度投到 LLM hidden size
  • 再把這些視覺 token 當成前綴或插入序列送進 LLM

這種方法的優點很明顯:

  • 簡單
  • 參數量小
  • 訓練成本低
  • 易於在已有 LLM + vision encoder 上快速搭建

LLaVA 一類路線之所以流行,很大程度上就是因為這條接法足夠工程化。

2)projector 不是純粹的“維度對齊層”,它還承擔分佈對齊任務

很多人會把 projector 想成“改個 shape”。

這不完整。

它更重要的作用其實是:

把視覺側的統計分佈和語義組織方式,儘可能拉近到 LLM 能接受的區域。

因為 LLM 主幹是在文本 token 分佈上訓練出來的。

如果你把一串完全陌生分佈的向量硬塞進去,LLM 並不會自動神奇地懂。

所以 projector 本質上也在參與模態對齊。

3)projector 太弱或太小,可能接不上覆雜視覺語義

這也是很多系統早期會遇到的問題。

如果 connector 容量太小,常見現象包括:

  • 能做粗粒度圖像描述
  • 但細節定位能力弱
  • OCR、圖表、跨區域關係理解差
  • 多圖一致性不好

也就是說,視覺編碼器再強,如果中間橋梁過窄,語言主幹仍然很難真正吃到足夠有效的信息。


五、圖像接入 LLM 的主流路線有哪些?

從結構上看,主流 VLM 大致可以歸成幾條典型路線。

1)MLP projector 路線:簡單、輕量、工程友好

這是最容易理解的一類。

基本思路是:

  • vision encoder 輸出一串視覺特徵
  • 通過 MLP / linear projector 映射到 LLM hidden size
  • 把這些特徵當作視覺 token 接入語言模型

優點:

  • 實現簡單
  • 訓練成本低
  • 很適合在強 LLM 上快速做多模態擴展

缺點:

  • 對複雜視覺細節的表達能力有限
  • 很依賴 vision encoder 本身夠強
  • 對高階圖文交互的建模能力不一定最優

這條路線很適合:

  • 工程上先把多模態能力接起來
  • 追求較低訓練門檻
  • 已有強大文本主幹,希望快速增加圖像理解接口

2)cross-attention 路線:讓語言側和視覺側做更顯式交互

另一種思路是,不只是把視覺 token 當前綴塞進去,而是讓語言側在生成過程中顯式 attend 到視覺信息。

這種做法通常會更靈活,因為它允許:

  • 文本 token 在解碼時動態選擇關注哪些視覺區域
  • 視覺和語言表示做更深層交互

優點:

  • 圖文交互建模能力更強
  • 對複雜關係和細粒度理解更有潛力

缺點:

  • 結構更復雜
  • 訓練和推理開銷通常更高
  • 工程實現複雜度也更高

3)Q-Former / query-based 路線:先用一小組查詢向量從視覺側抽取關鍵信息

這條路線的代表思想是:

不要把所有視覺 patch 都直接塞給 LLM,而是先通過一組 learnable queries,從視覺特徵裡抽出更緊湊的表示。

這樣做的核心動機很現實:

  • 原始視覺 token 太多
  • 不可能什麼都直接送入語言主幹
  • 需要先做一層信息壓縮和選擇

優點:

  • 能在保持信息量的同時壓縮 token 數
  • 對大規模多模態預訓練更友好
  • 更適合做視覺信息摘要式注入

缺點:

  • 結構更重
  • 訓練要求更高
  • 中間抽取層本身也會引入設計複雜度

所以從工程角度看,這三條路線不是誰絕對更先進,而是:

你願意用多少結構複雜度,換多少圖文交互能力和 token 效率。


六、訓練裡說的“圖文對齊”,到底在對齊什麼?

這是 VLM 裡最容易被說空的一句話。

很多文章一提多模態訓練,就會說“做圖文對齊”。

但如果不拆開,很容易聽完還是不知道模型到底學了什麼。

更具體地說,圖文對齊至少涉及三層:

1)語義對齊:圖像內容和語言描述要能落到相近語義空間

最基礎的是:

  • 看到貓,文本“貓”不能離得太遠
  • 看到圖表,模型要能建立圖像結構與語言描述之間的對應

CLIP 類訓練很大程度就在做這件事。

它讓視覺編碼器輸出的表示,開始具備“能和文本互相對應”的語義性質。

2)接口對齊:視覺表示要變成 LLM 真能消費的輸入

這一步很多時候由 projector / adapter 承擔。

也就是說,哪怕視覺特徵已經有語義,如果它的分佈和 LLM 完全不兼容,語言主幹還是很難穩定使用。

所以訓練時不只是“圖文匹配”,還在學:

  • 怎麼把視覺表示接到語言主幹
  • 接進去之後,LLM 怎樣在生成時利用它

3)任務對齊:模型不僅要“知道圖裡有什麼”,還要“知道怎麼按任務回答”

這也是為什麼單純圖文對預訓練通常還不夠。

因為真實多模態交互裡,用戶關心的不只是 caption。

他們會問:

  • 圖裡哪個區域有異常?
  • 這兩張圖差別在哪裡?
  • 菜單上第三行價格是多少?
  • 圖表趨勢說明了什麼?
  • 這個截圖下一步該點哪裡?

這些都是任務化、多輪化、指令化的問題。

所以現代 VLM 一般還需要:

  • 多模態指令微調
  • OCR / grounding / chart / document 等專項數據
  • 有時還會加思維鏈式、多步驟、多圖數據

換句話說:

圖文對齊讓模型“能把圖和字連起來”,多模態指令訓練才讓模型“知道怎麼圍繞用戶任務來用這條連接”。


七、為什麼很多 VLM 看起來會“看圖”,但一到細節任務就不穩?

這是多模態系統裡特別常見的落差。

demo 階段看著不錯,但一上覆雜任務就開始暴露問題。

原因通常有這幾類。

1)視覺 token 太粗,局部信息不夠

如果分辨率低、patch 大,模型對細小目標、文字、小表格、本地佈局就很容易不穩定。

2)projector 容量有限,複雜視覺關係傳不過去

如果橋接層太窄,很多高階語義在接入 LLM 之前就已經損失了。

3)訓練數據偏 caption 風格,任務分佈過窄

如果模型主要見過:

  • “描述這張圖”

卻很少見過:

  • OCR 問答
  • 多圖比較
  • grounding
  • 文檔解析
  • GUI 操作理解

那它自然會更擅長“說個大概”,不擅長“做得很準”。

4)語言模型會補全流暢性,但不等於視覺證據真的足夠

這和 RAG 有點像。

很多多模態幻覺,本質上也是:

  • 模型語言側太會說
  • 視覺側證據不夠強
  • 最終輸出變成“像是看懂了”,但其實在補洞

所以判斷一個 VLM 夠不夠好,不能只看它 caption 是否順。

更重要的是看:

  • OCR 準不準
  • grounding 穩不穩
  • 多圖一致性如何
  • 高分辨率文檔理解行不行
  • 是否會穩定引用視覺證據

八、部署時最容易踩的坑:分辨率、視覺 token 和顯存預算

如果你準備把 VLM 接進真實系統,這一段很重要。

1)視覺輸入分辨率不是越高越好

高分辨率確實常常能帶來更好的細節能力。

但代價也非常直接:

  • 視覺 token 增多
  • prefill 變重
  • 顯存佔用上升
  • 時延變長
  • 多圖併發能力下降

所以工程上更實際的做法通常是:

  • 不同任務設不同分辨率檔位
  • OCR / 文檔 / 圖表走高分辨率路徑
  • 普通看圖問答走中低分辨率路徑
  • 能裁剪就先裁剪,不要一上來整張大圖硬喂

2)圖片預處理策略會直接影響線上穩定性

比如:

  • resize 是否失真
  • 是否保留寬高比
  • 是否做 tiling
  • 多圖輸入順序是否固定
  • 顏色空間、旋轉、裁邊是否統一

這些看起來像“前處理小事”,實際上會強烈影響模型行為一致性。

3)多圖、多頁 PDF、長文檔場景要極其小心 token 預算

很多真實任務不是單圖,而是:

  • 多張商品圖
  • 多頁文檔
  • 一整份合同
  • 一串 GUI 截圖

這時候如果沒有做:

  • 篩圖
  • 分頁
  • 局部裁剪
  • 分階段推理

很快就會出現:

  • token 爆炸
  • 延遲飆升
  • 顯存不足
  • 回答質量反而下降

所以多模態部署裡,一個很常見的正確思路是:

先做視覺輸入管理,再做多模態生成。

別把所有圖片無腦全塞進去。


九、如果現在要做一個能用的 VLM 系統,我會怎麼建議起步?

如果你現在不是做研究論文,而是想做一個工程上能工作的多模態系統,我會更建議這樣起步。

1)先明確任務類型,而不是先迷信某個模型名

先問清楚:

  • 主要是 caption 還是問答?
  • 單圖還是多圖?
  • 偏 OCR、文檔、圖表,還是自然圖像理解?
  • 需要 grounding 嗎?
  • 輸入分辨率大概有多高?

因為不同任務決定了:

  • 該選什麼視覺 backbone
  • 是否需要高分辨率支持
  • 是否要多圖能力
  • 是否要加強 OCR / doc understanding

2)先把視覺 token 成本算清楚

別隻看模型參數量。

多模態系統裡,真正容易被低估的是:

  • 單圖 token 數
  • 多圖疊加後 token 數
  • 不同分辨率檔位的時延差異

這會直接決定你的併發上限和 GPU 預算。

3)如果業務強調準確定位,別隻看通用聊天體驗

很多模型聊天體驗不錯,但:

  • bounding / grounding 差
  • OCR 不穩
  • 表格解析容易錯位

所以評測必須貼近任務,而不是隻問幾句“圖裡是什麼”。

4)能分階段就分階段,不要一股腦端到端

例如:

  • 文檔任務:先頁面篩選,再高分辨率解析
  • 多圖任務:先粗篩,再精看重點圖
  • GUI 任務:先定位區域,再做操作推理

這類 pipeline 化做法,通常比“把所有視覺內容一次性塞給模型”更穩、更便宜。


十、最後總結

圖像之所以能“接入”語言模型,不是因為 LLM 自己突然學會了看像素。

而是因為多模態系統額外補上了幾層關鍵結構:

  • 視覺編碼器把像素壓成視覺表示
  • patch 和 resolution 決定視覺 token 數量與細節粒度
  • projector / adapter 把視覺特徵接入 LLM 可消費的空間
  • 對齊訓練讓圖像和語言開始在同一任務框架裡協同
  • 指令微調和專項數據讓模型學會圍繞真實問題去使用視覺信息

所以一個 VLM 的本質,不是“LLM + 圖片輸入”這麼簡單。

更準確地說,它是:

在語言模型主幹之外,增加了一整套視覺感知、模態橋接和任務對齊機制。

如果你現在正在選型或搭建多模態系統,我最建議優先盯住三件事:

  • 視覺 token 成本有沒有算清楚
  • projector / 連接模塊是否足夠支撐任務複雜度
  • 訓練與評測是否真的覆蓋了你關心的視覺任務,而不只是通用 caption

這三件事,往往比單純換一個更大的底模,更決定系統最後是不是“真能用”。

下一篇我會繼續沿著這條線往下講:

LLaVA、Qwen-VL、MiniCPM-V 這些主流 VLM 路線,到底結構差別在哪?為什麼有些模型更擅長通用對話,有些更適合文檔、多圖或高分辨率場景?

到那時你會更清楚地看到:

多模態模型之間的差距,很多時候不只是參數規模,而是視覺前端、連接方式、訓練數據和任務目標的組合差異。