前一篇我們剛把 RAG 這條鏈路拆開。
如果說 RAG 解決的是“模型回答之前,怎麼先去看外部資料”,那從今天開始,系列要正式切進另一條非常關鍵的主線:
語言模型到底是怎麼開始“看圖”的?
很多人第一次接觸 VLM 或 MLLM 時,會有一種很自然的直覺:
- LLM 負責理解文本
- 再加一個圖像編碼器
- 把圖像信息喂進去
- 模型就能看圖說話了
這個理解方向不算錯,但太粗了。
真正一落到模型結構、訓練流程和部署工程上,問題馬上就會變得具體很多:
- 圖像本來是像素,語言模型吃的是 token,中間到底怎麼接?
- 視覺編碼器為什麼大多用 ViT / CLIP 這一類結構,而不是直接把原圖扔給 LLM?
- projector 到底是什麼,它為什麼在很多多模態結構裡存在感這麼強?
- 圖像到底被編碼成多少視覺 token?這個數量受什麼控制?
- cross-attention、MLP projector、Q-Former 這些接法有什麼差別?
- 為什麼圖像分辨率一升,顯存和延遲就很容易爆?
- 訓練時到底在“對齊”什麼?是圖文配對就夠了,還是還要多模態指令數據?
這些問題背後,本質上都在指向一件事:
VLM 不是簡單給 LLM 加一雙“眼睛”,而是在語言模型主幹之外,額外構造一套視覺表徵、模態對齊和信息注入機制。
這篇文章,我想把這條鏈路從工程視角講清楚。
我會重點講六件事:
- 圖像為什麼不能直接餵給 LLM,視覺編碼器到底在做什麼
- 視覺 token 是怎麼來的,patch size、resolution 為什麼會直接影響成本
- projector / adapter 到底在解決什麼問題
- 主流圖像接入路線:MLP 投影、cross-attention、Q-Former 各自適合什麼場景
- 訓練時的“對齊”到底在對齊什麼,為什麼光有圖文對還不夠
- 部署時最容易踩的坑:視覺 token 爆炸、延遲上升、圖文對齊不穩
如果你正在看 LLaVA、Qwen-VL、InternVL、MiniCPM-V,或者準備把多模態能力接進真實業務,這篇基本就是理解 VLM 結構的起點。
一、先說結論:圖像不是“被語言模型直接理解”,而是先被變成一種可被語言模型消費的離散或連續表示
很多入門介紹會把 VLM 說成:
- 圖像輸入
- 模型理解
- 文本輸出
但這會隱藏一個最關鍵的事實:
語言模型本身並不天然理解像素。
LLM 之所以能工作,是因為它處理的是 token 序列。
而原始圖像是:
- 寬和高構成的二維像素網格
- 每個像素包含 RGB 或其他通道值
- 空間結構強、冗餘高
- 和文本 token 的統計結構完全不同
所以圖像如果要“接入”語言模型,至少要先完成一層轉換:
把像素空間裡的視覺信息,壓縮成某種語言模型可以繼續處理的表示。
這個轉換,一般就是視覺編碼器在做。
1)視覺編碼器不是簡單提特徵,而是在做“視覺世界的前端語義壓縮”
它的工作不只是把圖縮小,而是把原始圖像變成:
- 更緊湊的表示
- 帶有語義結構的表示
- 能和語言側進一步對齊的表示
你可以把它類比成:
- tokenizer 把文本切成 token
- vision encoder 把圖像切成 patch,並編碼成視覺 embedding
當然這兩個過程並不完全一樣,但在系統角色上有點類似:
它們都在把原始模態,變成後續主幹網絡更容易處理的單位。
2)為什麼不能直接把整張圖片 flatten 之後送進 LLM?
原因很現實:
- 原始像素維度太高
- 視覺局部結構很強,直接展平會破壞空間歸納偏置
- LLM 對二維局部感受野並不天然友好
- 訓練成本和序列長度會直接失控
所以現實裡的多模態系統,幾乎都會先讓視覺側自己做一輪編碼。
這也是為什麼 VLM 很少從“純 LLM 主幹”直接長出來,而是通常由:
- 一個視覺編碼器
- 一個模態連接模塊
- 一個語言模型主幹
三部分組成。
二、視覺編碼器為什麼大多是 ViT / CLIP 路線?
今天主流 VLM 裡,最常見的視覺前端基本都繞不開這幾類:
- ViT
- CLIP Vision Encoder
- EVA / SigLIP / InternViT 等視覺 backbone
它們雖然訓練目標不同,但工程上扮演的角色很接近:
先把圖像切成 patch,再把 patch 編碼成一串視覺 token 或視覺特徵。
1)ViT 的基本思路,就是把圖像 patch 化後當序列處理
這也是它和 LLM 更容易接軌的原因。
假設一張圖分辨率是:
224 × 224
如果 patch size 是:
14 × 14
那麼圖像會被切成:
個 patch。
每個 patch 再被映射成一個向量,後續通過 Transformer 繼續編碼。
於是圖像就從二維像素網格,變成了一段長度約為 256 的視覺序列。
這一步非常關鍵。
因為從這裡開始,視覺側和語言側至少在“序列化處理”這件事上開始變得兼容。
2)為什麼很多多模態模型喜歡直接複用 CLIP vision encoder?
因為 CLIP 系列視覺編碼器已經在大規模圖文對數據上做過對齊預訓練。
這意味著它天然有幾個優勢:
- 視覺特徵語義性比較強
- 圖文空間已經有一定對應關係
- 不需要從零開始學“圖像裡什麼是可說的”
- 可以顯著降低多模態系統的訓練成本
所以像很多 LLaVA 路線的模型,本質上就是:
- 拿一個已經訓練好的 vision encoder
- 再想辦法把它的輸出接進 LLM
這比從像素到語言完全端到端重新訓,要現實得多。
3)視覺編碼器選型,會直接影響精度、速度和顯存
這裡有幾個常見參數會非常關鍵:
- backbone 規模:B / L / H 級別
- hidden size
- patch size
- 輸入分辨率
- 是否支持高分辨率或動態分辨率
這些參數並不是“模型論文裡的裝飾品”,而是會非常直接地影響:
- 視覺 token 數量
- 單張圖的推理時延
- 顯存消耗
- 多圖場景能不能扛住
所以選視覺 backbone 時,不能只看 benchmark 分。
視覺前端在多模態系統裡,本身就是吞吐和成本的大頭之一。
三、視覺 token 是怎麼來的?為什麼 patch size 和 resolution 會直接決定系統成本?
這一點非常值得單獨拿出來講。
因為很多人第一次看 VLM,只注意“它能看圖”,卻忽略了:
圖像一旦進入序列模型,代價經常是按 token 算的。
1)圖像分辨率越高,視覺 token 通常越多
如果 patch size 固定,resolution 一升,patch 數就會迅速上去。
舉個最直觀的例子。
當 patch size 固定為 14 × 14:
224 × 224→16 × 16 = 256個 patch448 × 448→32 × 32 = 1024個 patch
也就是說,邊長翻倍,視覺 token 數會接近變成原來的 4 倍。
而 attention 的計算開銷,對序列長度通常還不是線性上升。
這就是為什麼高分辨率輸入一上去,系統代價會突然變得很重。
2)patch size 越小,局部細節更豐富,但 token 成本更高
patch size 可以粗略理解成“每個視覺 token 覆蓋多大圖像區域”。
- patch 小:保留更多局部細節,但 token 更多
- patch 大:token 更少,但局部信息更粗
這就帶來一個很典型的工程 trade-off:
- OCR、圖表、小物體、細粒度定位任務,通常更吃高分辨率和更細粒度視覺 token
- 通用看圖問答、粗粒度語義描述,對 patch 細度要求沒那麼極端
所以 VLM 的視覺分辨率參數,絕不是“開越高越好”。
它其實是在平衡:
- 精細視覺理解
- token 成本
- 顯存預算
- 延遲約束
3)多圖輸入時,視覺 token 爆炸會更嚴重
單圖都已經很貴了,多圖場景會更明顯。
假設每張圖 576 個視覺 token,4 張圖就是:
4 × 576 = 2304個視覺 token
如果再加上文本輸入和長輸出,整段上下文很快就會逼近模型窗口上限,或者讓 prefill 成本大幅上升。
這就是為什麼多圖、長圖、高清圖這些能力,在 demo 上看起來很酷,但一進生產就必須非常認真地做 token 預算。
四、projector 到底是什麼?它為什麼在多模態模型裡幾乎繞不過去?
如果說視覺編碼器負責把圖片變成視覺特徵,那麼 projector 解決的就是下一步問題:
這些視覺特徵,怎麼才能被語言模型主幹順利接住?
因為視覺側和語言側往往並不天然兼容。
它們可能在這些方面都不一致:
- embedding 維度不同
- 特徵分佈不同
- 語義空間不同
- 序列組織方式不同
所以必須有一箇中間模塊,負責把視覺表示“翻譯”成語言側更容易消費的形式。
這類模塊通常就被統稱為:
- projector
- adapter
- connector
- bridging module
1)最基礎的 projector,常常就是一層或多層 MLP
很多早期或輕量路線會用非常直接的做法:
- 取 vision encoder 輸出
- 過一層線性映射或兩層 MLP
- 把維度投到 LLM hidden size
- 再把這些視覺 token 當成前綴或插入序列送進 LLM
這種方法的優點很明顯:
- 簡單
- 參數量小
- 訓練成本低
- 易於在已有 LLM + vision encoder 上快速搭建
LLaVA 一類路線之所以流行,很大程度上就是因為這條接法足夠工程化。
2)projector 不是純粹的“維度對齊層”,它還承擔分佈對齊任務
很多人會把 projector 想成“改個 shape”。
這不完整。
它更重要的作用其實是:
把視覺側的統計分佈和語義組織方式,儘可能拉近到 LLM 能接受的區域。
因為 LLM 主幹是在文本 token 分佈上訓練出來的。
如果你把一串完全陌生分佈的向量硬塞進去,LLM 並不會自動神奇地懂。
所以 projector 本質上也在參與模態對齊。
3)projector 太弱或太小,可能接不上覆雜視覺語義
這也是很多系統早期會遇到的問題。
如果 connector 容量太小,常見現象包括:
- 能做粗粒度圖像描述
- 但細節定位能力弱
- OCR、圖表、跨區域關係理解差
- 多圖一致性不好
也就是說,視覺編碼器再強,如果中間橋梁過窄,語言主幹仍然很難真正吃到足夠有效的信息。
五、圖像接入 LLM 的主流路線有哪些?
從結構上看,主流 VLM 大致可以歸成幾條典型路線。
1)MLP projector 路線:簡單、輕量、工程友好
這是最容易理解的一類。
基本思路是:
- vision encoder 輸出一串視覺特徵
- 通過 MLP / linear projector 映射到 LLM hidden size
- 把這些特徵當作視覺 token 接入語言模型
優點:
- 實現簡單
- 訓練成本低
- 很適合在強 LLM 上快速做多模態擴展
缺點:
- 對複雜視覺細節的表達能力有限
- 很依賴 vision encoder 本身夠強
- 對高階圖文交互的建模能力不一定最優
這條路線很適合:
- 工程上先把多模態能力接起來
- 追求較低訓練門檻
- 已有強大文本主幹,希望快速增加圖像理解接口
2)cross-attention 路線:讓語言側和視覺側做更顯式交互
另一種思路是,不只是把視覺 token 當前綴塞進去,而是讓語言側在生成過程中顯式 attend 到視覺信息。
這種做法通常會更靈活,因為它允許:
- 文本 token 在解碼時動態選擇關注哪些視覺區域
- 視覺和語言表示做更深層交互
優點:
- 圖文交互建模能力更強
- 對複雜關係和細粒度理解更有潛力
缺點:
- 結構更復雜
- 訓練和推理開銷通常更高
- 工程實現複雜度也更高
3)Q-Former / query-based 路線:先用一小組查詢向量從視覺側抽取關鍵信息
這條路線的代表思想是:
不要把所有視覺 patch 都直接塞給 LLM,而是先通過一組 learnable queries,從視覺特徵裡抽出更緊湊的表示。
這樣做的核心動機很現實:
- 原始視覺 token 太多
- 不可能什麼都直接送入語言主幹
- 需要先做一層信息壓縮和選擇
優點:
- 能在保持信息量的同時壓縮 token 數
- 對大規模多模態預訓練更友好
- 更適合做視覺信息摘要式注入
缺點:
- 結構更重
- 訓練要求更高
- 中間抽取層本身也會引入設計複雜度
所以從工程角度看,這三條路線不是誰絕對更先進,而是:
你願意用多少結構複雜度,換多少圖文交互能力和 token 效率。
六、訓練裡說的“圖文對齊”,到底在對齊什麼?
這是 VLM 裡最容易被說空的一句話。
很多文章一提多模態訓練,就會說“做圖文對齊”。
但如果不拆開,很容易聽完還是不知道模型到底學了什麼。
更具體地說,圖文對齊至少涉及三層:
1)語義對齊:圖像內容和語言描述要能落到相近語義空間
最基礎的是:
- 看到貓,文本“貓”不能離得太遠
- 看到圖表,模型要能建立圖像結構與語言描述之間的對應
CLIP 類訓練很大程度就在做這件事。
它讓視覺編碼器輸出的表示,開始具備“能和文本互相對應”的語義性質。
2)接口對齊:視覺表示要變成 LLM 真能消費的輸入
這一步很多時候由 projector / adapter 承擔。
也就是說,哪怕視覺特徵已經有語義,如果它的分佈和 LLM 完全不兼容,語言主幹還是很難穩定使用。
所以訓練時不只是“圖文匹配”,還在學:
- 怎麼把視覺表示接到語言主幹
- 接進去之後,LLM 怎樣在生成時利用它
3)任務對齊:模型不僅要“知道圖裡有什麼”,還要“知道怎麼按任務回答”
這也是為什麼單純圖文對預訓練通常還不夠。
因為真實多模態交互裡,用戶關心的不只是 caption。
他們會問:
- 圖裡哪個區域有異常?
- 這兩張圖差別在哪裡?
- 菜單上第三行價格是多少?
- 圖表趨勢說明了什麼?
- 這個截圖下一步該點哪裡?
這些都是任務化、多輪化、指令化的問題。
所以現代 VLM 一般還需要:
- 多模態指令微調
- OCR / grounding / chart / document 等專項數據
- 有時還會加思維鏈式、多步驟、多圖數據
換句話說:
圖文對齊讓模型“能把圖和字連起來”,多模態指令訓練才讓模型“知道怎麼圍繞用戶任務來用這條連接”。
七、為什麼很多 VLM 看起來會“看圖”,但一到細節任務就不穩?
這是多模態系統裡特別常見的落差。
demo 階段看著不錯,但一上覆雜任務就開始暴露問題。
原因通常有這幾類。
1)視覺 token 太粗,局部信息不夠
如果分辨率低、patch 大,模型對細小目標、文字、小表格、本地佈局就很容易不穩定。
2)projector 容量有限,複雜視覺關係傳不過去
如果橋接層太窄,很多高階語義在接入 LLM 之前就已經損失了。
3)訓練數據偏 caption 風格,任務分佈過窄
如果模型主要見過:
- “描述這張圖”
卻很少見過:
- OCR 問答
- 多圖比較
- grounding
- 文檔解析
- GUI 操作理解
那它自然會更擅長“說個大概”,不擅長“做得很準”。
4)語言模型會補全流暢性,但不等於視覺證據真的足夠
這和 RAG 有點像。
很多多模態幻覺,本質上也是:
- 模型語言側太會說
- 視覺側證據不夠強
- 最終輸出變成“像是看懂了”,但其實在補洞
所以判斷一個 VLM 夠不夠好,不能只看它 caption 是否順。
更重要的是看:
- OCR 準不準
- grounding 穩不穩
- 多圖一致性如何
- 高分辨率文檔理解行不行
- 是否會穩定引用視覺證據
八、部署時最容易踩的坑:分辨率、視覺 token 和顯存預算
如果你準備把 VLM 接進真實系統,這一段很重要。
1)視覺輸入分辨率不是越高越好
高分辨率確實常常能帶來更好的細節能力。
但代價也非常直接:
- 視覺 token 增多
- prefill 變重
- 顯存佔用上升
- 時延變長
- 多圖併發能力下降
所以工程上更實際的做法通常是:
- 不同任務設不同分辨率檔位
- OCR / 文檔 / 圖表走高分辨率路徑
- 普通看圖問答走中低分辨率路徑
- 能裁剪就先裁剪,不要一上來整張大圖硬喂
2)圖片預處理策略會直接影響線上穩定性
比如:
- resize 是否失真
- 是否保留寬高比
- 是否做 tiling
- 多圖輸入順序是否固定
- 顏色空間、旋轉、裁邊是否統一
這些看起來像“前處理小事”,實際上會強烈影響模型行為一致性。
3)多圖、多頁 PDF、長文檔場景要極其小心 token 預算
很多真實任務不是單圖,而是:
- 多張商品圖
- 多頁文檔
- 一整份合同
- 一串 GUI 截圖
這時候如果沒有做:
- 篩圖
- 分頁
- 局部裁剪
- 分階段推理
很快就會出現:
- token 爆炸
- 延遲飆升
- 顯存不足
- 回答質量反而下降
所以多模態部署裡,一個很常見的正確思路是:
先做視覺輸入管理,再做多模態生成。
別把所有圖片無腦全塞進去。
九、如果現在要做一個能用的 VLM 系統,我會怎麼建議起步?
如果你現在不是做研究論文,而是想做一個工程上能工作的多模態系統,我會更建議這樣起步。
1)先明確任務類型,而不是先迷信某個模型名
先問清楚:
- 主要是 caption 還是問答?
- 單圖還是多圖?
- 偏 OCR、文檔、圖表,還是自然圖像理解?
- 需要 grounding 嗎?
- 輸入分辨率大概有多高?
因為不同任務決定了:
- 該選什麼視覺 backbone
- 是否需要高分辨率支持
- 是否要多圖能力
- 是否要加強 OCR / doc understanding
2)先把視覺 token 成本算清楚
別隻看模型參數量。
多模態系統裡,真正容易被低估的是:
- 單圖 token 數
- 多圖疊加後 token 數
- 不同分辨率檔位的時延差異
這會直接決定你的併發上限和 GPU 預算。
3)如果業務強調準確定位,別隻看通用聊天體驗
很多模型聊天體驗不錯,但:
- bounding / grounding 差
- OCR 不穩
- 表格解析容易錯位
所以評測必須貼近任務,而不是隻問幾句“圖裡是什麼”。
4)能分階段就分階段,不要一股腦端到端
例如:
- 文檔任務:先頁面篩選,再高分辨率解析
- 多圖任務:先粗篩,再精看重點圖
- GUI 任務:先定位區域,再做操作推理
這類 pipeline 化做法,通常比“把所有視覺內容一次性塞給模型”更穩、更便宜。
十、最後總結
圖像之所以能“接入”語言模型,不是因為 LLM 自己突然學會了看像素。
而是因為多模態系統額外補上了幾層關鍵結構:
- 視覺編碼器把像素壓成視覺表示
- patch 和 resolution 決定視覺 token 數量與細節粒度
- projector / adapter 把視覺特徵接入 LLM 可消費的空間
- 對齊訓練讓圖像和語言開始在同一任務框架裡協同
- 指令微調和專項數據讓模型學會圍繞真實問題去使用視覺信息
所以一個 VLM 的本質,不是“LLM + 圖片輸入”這麼簡單。
更準確地說,它是:
在語言模型主幹之外,增加了一整套視覺感知、模態橋接和任務對齊機制。
如果你現在正在選型或搭建多模態系統,我最建議優先盯住三件事:
- 視覺 token 成本有沒有算清楚
- projector / 連接模塊是否足夠支撐任務複雜度
- 訓練與評測是否真的覆蓋了你關心的視覺任務,而不只是通用 caption
這三件事,往往比單純換一個更大的底模,更決定系統最後是不是“真能用”。
下一篇我會繼續沿著這條線往下講:
LLaVA、Qwen-VL、MiniCPM-V 這些主流 VLM 路線,到底結構差別在哪?為什麼有些模型更擅長通用對話,有些更適合文檔、多圖或高分辨率場景?
到那時你會更清楚地看到:
多模態模型之間的差距,很多時候不只是參數規模,而是視覺前端、連接方式、訓練數據和任務目標的組合差異。