前面幾篇,我們已經把這條主線推進到了微調階段:
- Transformer 為什麼能成為大模型基礎架構
- 預訓練到底在學什麼
- SFT、RLHF、DPO 這類對齊訓練怎麼串起來
- 長上下文是怎麼做出來的
- temperature、top-k、top-p、repeat penalty 這類推理參數怎麼調
- LoRA、QLoRA、全參微調分別適合什麼場景
接下來,就該進入真正決定“能不能跑起來”的部署問題了。
因為很多團隊第一次把大模型從論文、Demo、Notebook 搬到真實環境時,最先撞上的通常不是 prompt,也不是算法,而是一個非常現實的問題:
顯存不夠。
你會發現很多事情都繞不過它:
- 7B 模型到底能不能在單卡上跑?
- 13B、32B、70B 模型分別大概要多少顯存?
- 為什麼有些模型 FP16 跑不動,換成 4bit 卻能跑?
- INT8、4bit、GPTQ、AWQ、GGUF、bitsandbytes 到底該怎麼選?
- 量化以後為什麼有時省了顯存,卻不一定更快?
- 真實服務裡到底該優先保吞吐、保精度,還是先保能上線?
這篇文章,我想把大模型部署裡最關鍵的一條線講透:
量化不是“壓縮一下模型”這麼簡單,而是在顯存、精度、延遲、吞吐、兼容性之間做工程取捨。
我們重點講 7 件事:
- 為什麼量化是大模型部署的核心槓桿
- FP16、BF16、INT8、4bit 分別意味著什麼
- GPTQ、AWQ、GGUF、bitsandbytes 這些路線到底差在哪
- 為什麼“更低 bit”不一定代表“更快”
- KV Cache、batch、上下文長度為什麼會把顯存再次吃爆
- 單機、本地、API 服務三類場景下怎麼選量化方案
- 如何做吞吐、延遲、精度的真實評估,而不是隻看參數表
如果你正準備把模型放到:
- 本地開發機
- 消費級 GPU 服務器
- 推理服務集群
- Ollama / vLLM / SGLang / llama.cpp 這類框架
這篇會比“背幾個量化名詞”更有用。
一、先說結論:量化首先解決的是“能不能部署”,其次才是“跑得有多漂亮”
很多人第一次接觸量化時,會天然把它理解成:
- 模型壓小一點
- 顯存省一點
- 速度快一點
這當然沒錯,但還不夠準確。
更實用的理解應該是:
量化是把原本無法部署的模型,拉回到可部署區間的第一把工程槓桿。
因為真實環境裡,部署約束通常不是“理論最優”,而是下面這些:
- 你手裡只有 24GB、48GB 或 80GB 顯卡
- 你還得留出 KV Cache、batch、併發和框架開銷
- 你不能只讓它跑一次,而是要穩定處理請求
- 你不只是要出結果,還要控制 TTFT、tokens/s、吞吐和成本
所以工程上第一問通常不是:
哪種精度最先進?
而是:
在我的硬件和目標 SLA 下,模型到底以什麼格式最合適。
如果一個 14B 模型用 FP16 根本裝不下,那你討論它 FP16 精度有多好,其實沒有意義。
二、先把幾個核心概念踩穩:權重、激活、KV Cache 不是一回事
很多人剛學部署時,會把“模型顯存”理解成一個靜態數字。
這很容易誤判。
因為推理時顯存通常至少分成三塊:
1)模型權重(Weights)
也就是參數本身。
這是量化最直接作用的部分。
比如:
- FP16:每個參數約 2 字節
- INT8:每個參數約 1 字節
- 4bit:每個參數約 0.5 字節
粗略估算:
- 7B 模型,FP16 權重大約 14GB
- 7B 模型,INT8 權重大約 7GB
- 7B 模型,4bit 權重大約 3.5GB
但這只是非常粗糙的理論值,真實還要加上:
- scale / zero-point 等量化元數據
- 框架開銷
- 內存碎片
- tensor parallel / runtime buffer
2)激活(Activations)
推理時激活開銷通常比訓練小很多,但在大 batch 或某些框架實現裡也不能完全忽略。
3)KV Cache
這才是很多人上線後真正被打懵的地方。
因為生成式推理不是隻把模型加載進來就完了,模型還要給每個請求保存注意力歷史,也就是 KV Cache。
KV Cache 的佔用和這些因素強相關:
- 層數
- hidden size
- attention heads
- context length
- batch size / 併發數
- 精度格式
所以經常會出現一種情況:
模型本體放得下,但一旦 batch 稍微變大、上下文拉長、併發一上來,顯存還是爆。
這也是為什麼部署討論不能只盯著“模型多大”,還要盯著“運行時多重”。
三、FP16、BF16、INT8、4bit 到底分別是什麼?
先把這些常見格式講清楚。
1)FP16
FP16 是半精度浮點,部署裡最經典的一種格式。
它的特點是:
- 精度高於低 bit 量化
- 框架兼容性普遍較好
- 很多 GPU 對 FP16 推理有成熟加速
- 顯存佔用大約是參數量 × 2 字節
它適合:
- 你顯存足夠
- 你優先保守穩定
- 你不想引入太多量化誤差
- 你要做 benchmark 或高保真基線
2)BF16
BF16 本質上也是 16 bit,但指數位更多,數值穩定性通常比 FP16 更好。
在現代訓練和推理框架裡,BF16 很常見,尤其在支持良好的 GPU 上。
部署視角下,它和 FP16 的核心共同點是:
都屬於“高精度、顯存開銷相對大”的方案。
3)INT8
INT8 就是 8 位整數表示。
它的直覺很簡單:
- 參數佔用大約減半
- 往往比 16bit 更省顯存
- 精度損失通常比 4bit 更溫和
它常常是一個很好的中間地帶:
- 既想省資源
- 又不想承受太激進的精度下降
- 希望保留較強兼容性和穩定性
4)4bit
4bit 是現在開源部署裡非常熱門的一檔。
因為它經常能把原本“根本跑不動”的模型,拉進消費級顯卡可運行區間。
它的價值非常現實:
- 同樣顯存下能裝更大的模型
- 本地部署門檻大幅下降
- 對 7B、14B、32B 這類模型特別有用
但要記住:
4bit 的收益首先是“裝得下”,不是自動保證“更快、更穩、更準”。
四、為什麼更低 bit 不一定更快?
這是很多人最容易誤解的地方。
直覺上你會覺得:
- 模型更小了
- 數據搬運更少了
- 所以速度一定更快
但真實情況沒有這麼簡單。
因為推理速度不僅取決於權重大小,還取決於:
- 量化/反量化開銷
- Kernel 是否優化成熟
- GPU 對該精度格式支持得好不好
- 框架是否為該格式做了高效實現
- 當前瓶頸是算力、帶寬還是調度開銷
所以工程上常見三種情況:
1)低 bit 同時更省顯存,也更快
這通常發生在:
- 模型原本受限於顯存帶寬
- 量化 kernel 做得不錯
- 硬件支持較好
- 請求規模比較適合當前框架
2)低 bit 更省顯存,但速度提升有限
這其實很常見。
因為你只是把“能不能跑”問題解決了,但吞吐仍然受:
- KV Cache
- 調度開銷
- decode 階段串行性
- 框架實現效率
限制。
3)低 bit 省了顯存,反而未必更快
尤其在某些 CPU、本地推理或不成熟實現裡,過多的反量化和格式轉換會吃掉收益。
所以別把量化簡單理解成“bit 越低越快”。
更準確的理解是:
低 bit 提供的是更高的部署彈性,而速度收益取決於具體硬件和推理棧。
五、GPTQ、AWQ、GGUF、bitsandbytes 這些路線到底差在哪?
這裡不追求把每個論文細節都展開,而是從工程角度講你最需要知道的區別。
1)bitsandbytes
這是很多人接觸 8bit / 4bit 量化的第一站。
它的特點是:
- 和 Hugging Face 生態結合緊
- 加載方便
- 適合快速實驗和開發驗證
- 常用於 QLoRA、低門檻本地部署
適合場景:
- 你想快速試一個模型能不能跑
- 你主要在 Python / Transformers 生態工作
- 你更看重開發便利,而不是極限推理性能
2)GPTQ
GPTQ 是一類典型的後訓練量化(PTQ)路線。
它的目標是:
在不重新訓練模型的情況下,把權重量化到更低 bit,同時儘量減少精度損失。
適合場景:
- 你已經有訓練好的模型
- 想把它變成適合推理部署的低 bit 版本
- 更關注離線量化後的部署產物
3)AWQ
AWQ 也是目前非常主流的後訓練量化路線之一。
它強調對重要權重進行更有針對性的保護,因此在不少模型和任務上有不錯的精度保持表現。
工程上很多人喜歡它,是因為它在“精度—速度—部署性”之間比較平衡。
適合場景:
- 你要上線 GPU 推理服務
- 你希望 4bit 量化後儘量少掉點
- 你希望配合 vLLM / SGLang / TensorRT-LLM 等更成熟服務棧
4)GGUF
GGUF 更多是 llama.cpp 體系下非常常見的模型分發格式。
它的價值不只是量化,而是:
- 方便本地推理
- CPU / Apple Silicon / 小型設備支持好
- 各種量化檔位豐富
- 對桌面端、自託管、輕量本地使用特別友好
適合場景:
- Mac 本地跑模型
- CPU 推理
- 不追求大規模服務化,而是追求便捷部署
所以你可以先這樣理解:
- bitsandbytes:開發驗證友好
- GPTQ:經典離線後訓練量化路線
- AWQ:部署實戰裡很常見的高性價比 4bit 方案
- GGUF:本地化、跨硬件、輕量部署很強
六、量化選型不能只看權重,還要把 KV Cache 一起算進去
這是部署裡特別容易踩坑的一點。
很多人估算顯存時,只會算:
模型參數量 × bit 數
然後發現理論上夠,實際一跑還是 OOM。
為什麼?
因為真實推理裡,尤其長上下文和高併發場景下,KV Cache 經常會成為第二大顯存消耗源。
一個實用判斷
如果你的場景是:
- 長文檔問答
- RAG 回答時塞很多上下文
- 高併發 API 服務
- 多輪會話長期保留上下文
那你要優先關注的,不只是模型量化檔位,還包括:
- max model len
- max num seqs / batch size
- prefill 長度
- decode 階段併發
- KV Cache 精度與分頁管理
也就是說:
量化解決的是靜態模型佔用,而 KV Cache 決定的是動態服務容量。
如果你忽略第二件事,部署就很容易在上線後翻車。
七、單機、本地和服務化三類場景,到底怎麼選?
我給你一個更接近真實工程的選擇框架。
1)本地個人使用 / 開發驗證
目標通常是:
- 先跑起來
- 成本低
- 不追求極限吞吐
推薦思路:
- Mac / CPU / 輕量設備:優先看 GGUF
- 單卡實驗:可以優先試 bitsandbytes 4bit / 8bit
- 如果只是 prompt 調試和功能驗證,先別追求最複雜的服務棧
這時最重要的是:
讓模型進可用區,而不是一次性把架構做滿。
2)團隊內網服務 / 小規模 API
目標通常是:
- 可被多人調用
- 有一定併發
- 穩定比極限參數更重要
推薦思路:
- 7B / 14B 模型:INT8 或 4bit 都值得評估
- 如果對精度敏感,先拿 FP16/BF16 做基線,再比較 AWQ / GPTQ
- 使用 vLLM / SGLang 這類更適合服務化的推理框架
- 重點監控 TTFT、tokens/s、OOM、上下文長度和併發退化
3)生產級高併發服務
目標通常是:
- 儘可能高吞吐
- 可預測延遲
- 穩定 SLA
- 成本可控
這時量化選擇不能只看“能不能跑”,而要看:
- 特定框架對該量化格式支持是否成熟
- continuous batching 能否吃滿吞吐
- tensor parallel / pipeline parallel 如何協同
- 精度下降是否影響真實業務指標
- 故障恢復、熱加載、灰度切換是否方便
換句話說,上線服務看的是整條推理鏈,而不是單個量化標籤。
八、如何評估“量化到底值不值”?別隻看主觀感覺
這部分特別關鍵。
很多團隊測量化時,只問一句:
- 好像沒差太多?
這不夠。
你至少應該從四個維度評估。
1)顯存佔用
記錄:
- 模型加載後顯存
- 首 token 前顯存
- 長上下文下顯存
- 高併發時峰值顯存
2)延遲
重點看:
- TTFT(Time To First Token)
- 單請求總時延
- 不同輸入長度下的變化
3)吞吐
重點看:
- tokens/s
- batch 增長後的吞吐變化
- 併發數上升後的退化曲線
4)精度 / 業務效果
不要只看一句“感覺回答還行”。
應該至少準備:
- 通用 benchmark 的小樣本回歸測試
- 你的真實業務樣例集
- 幻覺率、格式遵循、召回命中、代碼可執行性等任務指標
因為很多量化方案在閒聊上看不出差異,但在:
- 數學推理
- 結構化抽取
- 嚴格格式輸出
- OCR / 文檔理解
- 多輪工具調用
這些任務上會更容易暴露誤差。
九、幾個實用的參數與工程建議
最後給你一組更偏落地的經驗判斷。
1)先用高精度格式建立基線
如果硬件允許,先跑一版 FP16 / BF16 基線。
這樣你後面評估 INT8、4bit 時,才知道掉點和收益來自哪裡。
2)別隻盯著模型權重,記得給 KV Cache 留預算
尤其是長上下文和多併發服務。
很多 OOM 不是發生在“加載模型那一刻”,而是發生在“請求多起來之後”。
3)量化越激進,越要做真實業務迴歸
不要只拿通用問答測。
如果你的業務是:
- RAG
- 文檔抽取
- 代碼生成
- 表格理解
- 多模態問答
那就用這些真實任務去迴歸。
4)如果目標是服務化,不要只看模型文件格式,要看整個推理框架的支持度
同樣一個 4bit 模型,在不同框架上的:
- 吞吐
- 穩定性
- 併發支持
- 上下文能力
可能差別非常大。
5)“最優量化方案”通常不是固定的,而是和模型、硬件、任務三者綁定
沒有一種格式能在所有情況下都贏。
工程上要避免問:
“4bit 是不是一定最好?”
更應該問:
“在我這個模型、硬件、任務組合下,哪種方案最合適?”
最後總結一下
今天這篇,你可以把核心記成下面幾句。
1)量化首先解決的是部署可行性
很多時候不是“跑得更優”,而是先讓模型進入“能上線、能承載請求”的區間。
2)FP16 / BF16 更保守,INT8 是中間地帶,4bit 最擅長壓縮顯存
但 bit 越低,不代表自動越快、越穩。
3)GPTQ、AWQ、GGUF、bitsandbytes 不是簡單替代關係,而是針對不同推理棧和場景的路線選擇
開發驗證、GPU 服務、本地推理,各自最優解往往不同。
4)部署評估一定要同時看:顯存、延遲、吞吐、業務效果
只看模型能不能加載,遠遠不夠。
5)真正影響上線成敗的,不只是權重量化,還有 KV Cache、上下文長度、batch 和框架實現
這幾件事經常比“參數 bit 數”更決定真實容量。
如果你願意,我下一篇可以直接接著寫:
《大語言模型部署實戰:從 Ollama、vLLM 到 SGLang,本地服務到底怎麼搭?》
會把這篇量化內容順著接到:
- 模型格式怎麼選
- 單機服務怎麼起
- max model len、tensor parallel、batching 怎麼配
- 本地開發、內網部署、正式服務三條路線分別怎麼落地