前面幾篇,我們已經把這條主線推進到了微調階段:

  • Transformer 為什麼能成為大模型基礎架構
  • 預訓練到底在學什麼
  • SFT、RLHF、DPO 這類對齊訓練怎麼串起來
  • 長上下文是怎麼做出來的
  • temperature、top-k、top-p、repeat penalty 這類推理參數怎麼調
  • LoRA、QLoRA、全參微調分別適合什麼場景

接下來,就該進入真正決定“能不能跑起來”的部署問題了。

因為很多團隊第一次把大模型從論文、Demo、Notebook 搬到真實環境時,最先撞上的通常不是 prompt,也不是算法,而是一個非常現實的問題:

顯存不夠。

你會發現很多事情都繞不過它:

  • 7B 模型到底能不能在單卡上跑?
  • 13B、32B、70B 模型分別大概要多少顯存?
  • 為什麼有些模型 FP16 跑不動,換成 4bit 卻能跑?
  • INT8、4bit、GPTQ、AWQ、GGUF、bitsandbytes 到底該怎麼選?
  • 量化以後為什麼有時省了顯存,卻不一定更快?
  • 真實服務裡到底該優先保吞吐、保精度,還是先保能上線?

這篇文章,我想把大模型部署裡最關鍵的一條線講透:

量化不是“壓縮一下模型”這麼簡單,而是在顯存、精度、延遲、吞吐、兼容性之間做工程取捨。

我們重點講 7 件事:

  1. 為什麼量化是大模型部署的核心槓桿
  2. FP16、BF16、INT8、4bit 分別意味著什麼
  3. GPTQ、AWQ、GGUF、bitsandbytes 這些路線到底差在哪
  4. 為什麼“更低 bit”不一定代表“更快”
  5. KV Cache、batch、上下文長度為什麼會把顯存再次吃爆
  6. 單機、本地、API 服務三類場景下怎麼選量化方案
  7. 如何做吞吐、延遲、精度的真實評估,而不是隻看參數表

如果你正準備把模型放到:

  • 本地開發機
  • 消費級 GPU 服務器
  • 推理服務集群
  • Ollama / vLLM / SGLang / llama.cpp 這類框架

這篇會比“背幾個量化名詞”更有用。


一、先說結論:量化首先解決的是“能不能部署”,其次才是“跑得有多漂亮”

很多人第一次接觸量化時,會天然把它理解成:

  • 模型壓小一點
  • 顯存省一點
  • 速度快一點

這當然沒錯,但還不夠準確。

更實用的理解應該是:

量化是把原本無法部署的模型,拉回到可部署區間的第一把工程槓桿。

因為真實環境裡,部署約束通常不是“理論最優”,而是下面這些:

  • 你手裡只有 24GB、48GB 或 80GB 顯卡
  • 你還得留出 KV Cache、batch、併發和框架開銷
  • 你不能只讓它跑一次,而是要穩定處理請求
  • 你不只是要出結果,還要控制 TTFT、tokens/s、吞吐和成本

所以工程上第一問通常不是:

哪種精度最先進?

而是:

在我的硬件和目標 SLA 下,模型到底以什麼格式最合適。

如果一個 14B 模型用 FP16 根本裝不下,那你討論它 FP16 精度有多好,其實沒有意義。


二、先把幾個核心概念踩穩:權重、激活、KV Cache 不是一回事

很多人剛學部署時,會把“模型顯存”理解成一個靜態數字。

這很容易誤判。

因為推理時顯存通常至少分成三塊:

1)模型權重(Weights)

也就是參數本身。

這是量化最直接作用的部分。

比如:

  • FP16:每個參數約 2 字節
  • INT8:每個參數約 1 字節
  • 4bit:每個參數約 0.5 字節

粗略估算:

  • 7B 模型,FP16 權重大約 14GB
  • 7B 模型,INT8 權重大約 7GB
  • 7B 模型,4bit 權重大約 3.5GB

但這只是非常粗糙的理論值,真實還要加上:

  • scale / zero-point 等量化元數據
  • 框架開銷
  • 內存碎片
  • tensor parallel / runtime buffer

2)激活(Activations)

推理時激活開銷通常比訓練小很多,但在大 batch 或某些框架實現裡也不能完全忽略。

3)KV Cache

這才是很多人上線後真正被打懵的地方。

因為生成式推理不是隻把模型加載進來就完了,模型還要給每個請求保存注意力歷史,也就是 KV Cache。

KV Cache 的佔用和這些因素強相關:

  • 層數
  • hidden size
  • attention heads
  • context length
  • batch size / 併發數
  • 精度格式

所以經常會出現一種情況:

模型本體放得下,但一旦 batch 稍微變大、上下文拉長、併發一上來,顯存還是爆。

這也是為什麼部署討論不能只盯著“模型多大”,還要盯著“運行時多重”。


三、FP16、BF16、INT8、4bit 到底分別是什麼?

先把這些常見格式講清楚。

1)FP16

FP16 是半精度浮點,部署裡最經典的一種格式。

它的特點是:

  • 精度高於低 bit 量化
  • 框架兼容性普遍較好
  • 很多 GPU 對 FP16 推理有成熟加速
  • 顯存佔用大約是參數量 × 2 字節

它適合:

  • 你顯存足夠
  • 你優先保守穩定
  • 你不想引入太多量化誤差
  • 你要做 benchmark 或高保真基線

2)BF16

BF16 本質上也是 16 bit,但指數位更多,數值穩定性通常比 FP16 更好。

在現代訓練和推理框架裡,BF16 很常見,尤其在支持良好的 GPU 上。

部署視角下,它和 FP16 的核心共同點是:

都屬於“高精度、顯存開銷相對大”的方案。

3)INT8

INT8 就是 8 位整數表示。

它的直覺很簡單:

  • 參數佔用大約減半
  • 往往比 16bit 更省顯存
  • 精度損失通常比 4bit 更溫和

它常常是一個很好的中間地帶:

  • 既想省資源
  • 又不想承受太激進的精度下降
  • 希望保留較強兼容性和穩定性

4)4bit

4bit 是現在開源部署裡非常熱門的一檔。

因為它經常能把原本“根本跑不動”的模型,拉進消費級顯卡可運行區間。

它的價值非常現實:

  • 同樣顯存下能裝更大的模型
  • 本地部署門檻大幅下降
  • 對 7B、14B、32B 這類模型特別有用

但要記住:

4bit 的收益首先是“裝得下”,不是自動保證“更快、更穩、更準”。


四、為什麼更低 bit 不一定更快?

這是很多人最容易誤解的地方。

直覺上你會覺得:

  • 模型更小了
  • 數據搬運更少了
  • 所以速度一定更快

但真實情況沒有這麼簡單。

因為推理速度不僅取決於權重大小,還取決於:

  • 量化/反量化開銷
  • Kernel 是否優化成熟
  • GPU 對該精度格式支持得好不好
  • 框架是否為該格式做了高效實現
  • 當前瓶頸是算力、帶寬還是調度開銷

所以工程上常見三種情況:

1)低 bit 同時更省顯存,也更快

這通常發生在:

  • 模型原本受限於顯存帶寬
  • 量化 kernel 做得不錯
  • 硬件支持較好
  • 請求規模比較適合當前框架

2)低 bit 更省顯存,但速度提升有限

這其實很常見。

因為你只是把“能不能跑”問題解決了,但吞吐仍然受:

  • KV Cache
  • 調度開銷
  • decode 階段串行性
  • 框架實現效率

限制。

3)低 bit 省了顯存,反而未必更快

尤其在某些 CPU、本地推理或不成熟實現裡,過多的反量化和格式轉換會吃掉收益。

所以別把量化簡單理解成“bit 越低越快”。

更準確的理解是:

低 bit 提供的是更高的部署彈性,而速度收益取決於具體硬件和推理棧。


五、GPTQ、AWQ、GGUF、bitsandbytes 這些路線到底差在哪?

這裡不追求把每個論文細節都展開,而是從工程角度講你最需要知道的區別。

1)bitsandbytes

這是很多人接觸 8bit / 4bit 量化的第一站。

它的特點是:

  • 和 Hugging Face 生態結合緊
  • 加載方便
  • 適合快速實驗和開發驗證
  • 常用於 QLoRA、低門檻本地部署

適合場景:

  • 你想快速試一個模型能不能跑
  • 你主要在 Python / Transformers 生態工作
  • 你更看重開發便利,而不是極限推理性能

2)GPTQ

GPTQ 是一類典型的後訓練量化(PTQ)路線。

它的目標是:

在不重新訓練模型的情況下,把權重量化到更低 bit,同時儘量減少精度損失。

適合場景:

  • 你已經有訓練好的模型
  • 想把它變成適合推理部署的低 bit 版本
  • 更關注離線量化後的部署產物

3)AWQ

AWQ 也是目前非常主流的後訓練量化路線之一。

它強調對重要權重進行更有針對性的保護,因此在不少模型和任務上有不錯的精度保持表現。

工程上很多人喜歡它,是因為它在“精度—速度—部署性”之間比較平衡。

適合場景:

  • 你要上線 GPU 推理服務
  • 你希望 4bit 量化後儘量少掉點
  • 你希望配合 vLLM / SGLang / TensorRT-LLM 等更成熟服務棧

4)GGUF

GGUF 更多是 llama.cpp 體系下非常常見的模型分發格式。

它的價值不只是量化,而是:

  • 方便本地推理
  • CPU / Apple Silicon / 小型設備支持好
  • 各種量化檔位豐富
  • 對桌面端、自託管、輕量本地使用特別友好

適合場景:

  • Mac 本地跑模型
  • CPU 推理
  • 不追求大規模服務化,而是追求便捷部署

所以你可以先這樣理解:

  • bitsandbytes:開發驗證友好
  • GPTQ:經典離線後訓練量化路線
  • AWQ:部署實戰裡很常見的高性價比 4bit 方案
  • GGUF:本地化、跨硬件、輕量部署很強

六、量化選型不能只看權重,還要把 KV Cache 一起算進去

這是部署裡特別容易踩坑的一點。

很多人估算顯存時,只會算:

模型參數量 × bit 數

然後發現理論上夠,實際一跑還是 OOM。

為什麼?

因為真實推理裡,尤其長上下文和高併發場景下,KV Cache 經常會成為第二大顯存消耗源。

一個實用判斷

如果你的場景是:

  • 長文檔問答
  • RAG 回答時塞很多上下文
  • 高併發 API 服務
  • 多輪會話長期保留上下文

那你要優先關注的,不只是模型量化檔位,還包括:

  • max model len
  • max num seqs / batch size
  • prefill 長度
  • decode 階段併發
  • KV Cache 精度與分頁管理

也就是說:

量化解決的是靜態模型佔用,而 KV Cache 決定的是動態服務容量。

如果你忽略第二件事,部署就很容易在上線後翻車。


七、單機、本地和服務化三類場景,到底怎麼選?

我給你一個更接近真實工程的選擇框架。

1)本地個人使用 / 開發驗證

目標通常是:

  • 先跑起來
  • 成本低
  • 不追求極限吞吐

推薦思路:

  • Mac / CPU / 輕量設備:優先看 GGUF
  • 單卡實驗:可以優先試 bitsandbytes 4bit / 8bit
  • 如果只是 prompt 調試和功能驗證,先別追求最複雜的服務棧

這時最重要的是:

讓模型進可用區,而不是一次性把架構做滿。

2)團隊內網服務 / 小規模 API

目標通常是:

  • 可被多人調用
  • 有一定併發
  • 穩定比極限參數更重要

推薦思路:

  • 7B / 14B 模型:INT8 或 4bit 都值得評估
  • 如果對精度敏感,先拿 FP16/BF16 做基線,再比較 AWQ / GPTQ
  • 使用 vLLM / SGLang 這類更適合服務化的推理框架
  • 重點監控 TTFT、tokens/s、OOM、上下文長度和併發退化

3)生產級高併發服務

目標通常是:

  • 儘可能高吞吐
  • 可預測延遲
  • 穩定 SLA
  • 成本可控

這時量化選擇不能只看“能不能跑”,而要看:

  • 特定框架對該量化格式支持是否成熟
  • continuous batching 能否吃滿吞吐
  • tensor parallel / pipeline parallel 如何協同
  • 精度下降是否影響真實業務指標
  • 故障恢復、熱加載、灰度切換是否方便

換句話說,上線服務看的是整條推理鏈,而不是單個量化標籤。


八、如何評估“量化到底值不值”?別隻看主觀感覺

這部分特別關鍵。

很多團隊測量化時,只問一句:

  • 好像沒差太多?

這不夠。

你至少應該從四個維度評估。

1)顯存佔用

記錄:

  • 模型加載後顯存
  • 首 token 前顯存
  • 長上下文下顯存
  • 高併發時峰值顯存

2)延遲

重點看:

  • TTFT(Time To First Token)
  • 單請求總時延
  • 不同輸入長度下的變化

3)吞吐

重點看:

  • tokens/s
  • batch 增長後的吞吐變化
  • 併發數上升後的退化曲線

4)精度 / 業務效果

不要只看一句“感覺回答還行”。

應該至少準備:

  • 通用 benchmark 的小樣本回歸測試
  • 你的真實業務樣例集
  • 幻覺率、格式遵循、召回命中、代碼可執行性等任務指標

因為很多量化方案在閒聊上看不出差異,但在:

  • 數學推理
  • 結構化抽取
  • 嚴格格式輸出
  • OCR / 文檔理解
  • 多輪工具調用

這些任務上會更容易暴露誤差。


九、幾個實用的參數與工程建議

最後給你一組更偏落地的經驗判斷。

1)先用高精度格式建立基線

如果硬件允許,先跑一版 FP16 / BF16 基線。

這樣你後面評估 INT8、4bit 時,才知道掉點和收益來自哪裡。

2)別隻盯著模型權重,記得給 KV Cache 留預算

尤其是長上下文和多併發服務。

很多 OOM 不是發生在“加載模型那一刻”,而是發生在“請求多起來之後”。

3)量化越激進,越要做真實業務迴歸

不要只拿通用問答測。

如果你的業務是:

  • RAG
  • 文檔抽取
  • 代碼生成
  • 表格理解
  • 多模態問答

那就用這些真實任務去迴歸。

4)如果目標是服務化,不要只看模型文件格式,要看整個推理框架的支持度

同樣一個 4bit 模型,在不同框架上的:

  • 吞吐
  • 穩定性
  • 併發支持
  • 上下文能力

可能差別非常大。

5)“最優量化方案”通常不是固定的,而是和模型、硬件、任務三者綁定

沒有一種格式能在所有情況下都贏。

工程上要避免問:

“4bit 是不是一定最好?”

更應該問:

“在我這個模型、硬件、任務組合下,哪種方案最合適?”


最後總結一下

今天這篇,你可以把核心記成下面幾句。

1)量化首先解決的是部署可行性

很多時候不是“跑得更優”,而是先讓模型進入“能上線、能承載請求”的區間。

2)FP16 / BF16 更保守,INT8 是中間地帶,4bit 最擅長壓縮顯存

但 bit 越低,不代表自動越快、越穩。

3)GPTQ、AWQ、GGUF、bitsandbytes 不是簡單替代關係,而是針對不同推理棧和場景的路線選擇

開發驗證、GPU 服務、本地推理,各自最優解往往不同。

4)部署評估一定要同時看:顯存、延遲、吞吐、業務效果

只看模型能不能加載,遠遠不夠。

5)真正影響上線成敗的,不只是權重量化,還有 KV Cache、上下文長度、batch 和框架實現

這幾件事經常比“參數 bit 數”更決定真實容量。


如果你願意,我下一篇可以直接接著寫:

《大語言模型部署實戰:從 Ollama、vLLM 到 SGLang,本地服務到底怎麼搭?》

會把這篇量化內容順著接到:

  • 模型格式怎麼選
  • 單機服務怎麼起
  • max model len、tensor parallel、batching 怎麼配
  • 本地開發、內網部署、正式服務三條路線分別怎麼落地