前一篇把本地部署這件事拆開講了:
- Ollama 更適合快速本地驗證
- vLLM 更像服務化推理基礎設施
- SGLang 更適合複雜推理編排
max_model_len、gpu_memory_utilization、tensor_parallel_size、max_num_seqs這類參數決定了服務上限,而不只是“能不能啟動”
但很多團隊真正上線時,遇到的問題很快就不再是“模型能不能跑”,而是:
- 為什麼單用戶體驗很好,一上併發就開始排隊甚至超時?
- 為什麼 GPU 利用率看起來很高,但用戶還是覺得慢?
- 為什麼日誌裡沒報錯,服務卻偶發性卡住?
- 為什麼同樣的模型、同樣的顯卡,測試環境穩定,生產環境卻經常抖?
- 為什麼一次流量高峰之後,尾延遲會拖很久才恢復?
這些問題背後,本質上都不是“模型不夠強”,而是推理服務進入生產後,系統目標變了。
本地階段看的是:能不能跑、效果好不好。
生產階段看的是:
- 高峰時能不能扛住
- 延遲能不能預測
- 故障能不能隔離
- 出問題能不能定位
- 模型服務能不能像一個工程系統一樣被運營
這篇就集中講這個問題。
我想把大模型生產服務拆成四層來看:
- 高併發怎麼扛:吞吐、排隊、批處理、實例規模怎麼平衡
- 監控怎麼做:哪些指標真正能反映推理服務健康度
- 限流怎麼做:什麼時候該拒絕請求,而不是把系統拖死
- 故障恢復怎麼做:模型服務抖動、OOM、節點異常後怎麼儘快止損
如果你已經從“本地能跑”走到了“要給業務長期提供 API”,這一篇基本就是分水嶺。
一、先把問題說透:生產環境裡的核心矛盾,不是模型推得快,而是請求來得不均勻
很多人一開始做推理服務,會默認用單次請求的速度來判斷系統好不好。
比如:
- 首 token 延遲 1 秒以內
- 每秒能生成 40 token
- 某個 benchmark 跑得不錯
這些都重要,但還不夠。
因為生產環境不是一條請求勻速進入系統,而是:
- 有時空閒
- 有時瞬間衝進來一批請求
- 有的請求很短
- 有的請求上下文很長、輸出也很長
- 有的請求還要求結構化輸出、工具調用、多輪重試
所以線上最關鍵的問題不是:
單條請求快不快。
而是:
流量波動時,系統還能不能維持穩定、可預期的響應。
這會直接把幾個概念拉到前臺:
- 吞吐量(throughput)
- 首 token 延遲(TTFT)
- 請求總耗時
- P95 / P99 尾延遲
- 排隊長度
- 實例利用率
很多團隊的問題就出在這裡:
把推理服務當成“更貴一點的 Web 接口”,卻沒有按排隊系統去設計。
而大模型服務一旦進入排隊系統視角,你會發現策略完全變了。
二、高併發不是靠“更大的卡”自動解決,而是靠調度策略和容量規劃
GPU 更大當然有幫助,但不是決定性答案。
真正決定系統是否能扛併發的,通常是三件事:
1)單位時間能處理多少 token
大模型服務的核心資源,不是請求數本身,而是 token 處理能力。
因為一個請求的成本主要來自兩段:
- prefill:把輸入上下文編碼進去
- decode:逐 token 生成輸出
這兩段的資源特徵不同:
- prefill 更像一次性計算高峰,輸入越長越重
- decode 更像持續佔用,輸出越長越拖系統
所以生產上別隻看 QPS。
更穩妥的是同時看:
- 輸入 token/s
- 輸出 token/s
- 平均每請求輸入長度
- 平均每請求輸出長度
否則兩個“同樣 10 QPS”的業務,系統壓力可能完全不是一個量級。
2)高併發本質上是“長短請求混跑”問題
最麻煩的不是高併發本身,而是不同類型請求同時進來。
比如一個實例上同時出現:
- 200 token 輸入、100 token 輸出的輕請求
- 8k token 輸入、1k token 輸出的重請求
- 需要 JSON 結構化輸出、失敗還會重試的複雜請求
如果沒有調度隔離,系統就會出現非常典型的問題:
- 輕請求被重請求拖慢
- 排隊時間不可預測
- 尾延遲迅速升高
- 用戶體感比平均值差很多
所以線上不要只做“統一模型服務”,還要做請求類型分層。
常見做法包括:
- 短請求和長請求分開路由
- 普通聊天和結構化抽取分開實例
- 長上下文能力做成專門服務池
- 高優任務和低優任務使用不同隊列
很多系統明明算力夠,卻因為所有請求混在一起,最後把體驗做壞了。
3)併發上限不是拍腦袋設的,而是靠壓測反推
很多參數名字看起來像“容量開關”,但其實只是你對風險的選擇。
比如:
max_num_seqsmax_model_lengpu_memory_utilizationmax_tokens- batch 上限
這些值配大一點,表面上看實例能接更多請求。
但真實情況往往是:
- 顯存更緊張
- 長請求更容易把隊列拖長
- P99 更難看
- OOM 風險更高
所以容量規劃的正確順序通常是:
- 先定義目標流量模型
- 再用真實輸入長度和輸出長度做壓測
- 觀察 TTFT、吞吐、P95/P99、OOM 情況
- 反推出單實例安全併發上限
- 再決定實例數和擴容策略
不是先把參數擰到最大,再希望系統自己穩定下來。
三、在線推理裡最重要的工程問題之一,是把 prefill 和 decode 分開理解
很多系統調優總是陷入一個誤區:
“模型慢了,就繼續加機器。”
但如果不區分 prefill 和 decode,很多優化其實會失焦。
1)prefill 為什麼經常在長文檔場景裡成為瓶頸
當用戶一次塞進來大量上下文時,系統首先要把整段輸入編碼進 KV Cache。
這一步的典型特徵是:
- 算力消耗集中
- 對輸入長度非常敏感
- 可能在流量高峰時造成瞬時擁堵
所以 RAG、長文檔問答、長對話續寫這類場景,經常不是 decode 慢,而是 prefill 先把前面堵住了。
這也是為什麼很多團隊後來會做:
- chunk 控制
- 上下文截斷
- 檢索條數限制
- prompt 模板瘦身
這些動作看起來像“提示詞優化”,其實本質上是在做系統負載控制。
2)decode 為什麼更像持續性的系統佔用
進入生成階段後,每個請求會持續佔著資源往前跑。
如果輸出長度不受控,就會出現兩個問題:
- 單個請求在系統裡停留過久
- 隊列後面的請求越來越多
所以線上一般不會讓 max_tokens 無限制放開。
更實際的做法是:
- 按接口類型限制輸出長度
- 摘要接口給較短上限
- 報告生成接口單獨走重服務
- Agent 任務按階段拆開,而不是一次生成到底
本質上,max_tokens 不只是內容參數,它同時也是調度參數。
3)為什麼很多團隊會把長上下文和普通問答拆成兩套服務
原因很簡單:
- 長上下文實例需要更多顯存預算
- 它更容易被長 prefill 拖慢
- 它會壓縮普通問答的併發承載能力
如果所有業務都共用一套長窗口實例,結果通常是:
- 普通請求成本變高
- 吞吐下降
- 用戶體感變差
所以更合理的方案往往是:
- 普通 4k / 8k 服務池
- 長文本 32k / 64k 服務池
- 必要時再做高優先級路由
這比“一套實例打天下”更工程化。
四、真正能扛住高併發的系統,通常都做了隊列、批處理和分級路由
推理服務只要一進生產,就幾乎繞不開這三件事。
1)隊列不是可選項,而是系統緩衝層
很多人對隊列有誤解,覺得一排隊就是系統不行。
其實不是。
沒有隊列的系統,遇到突發流量時更容易直接失控。
隊列的作用主要有三個:
- 吸收突發流量
- 給調度器留出合併請求的時間窗口
- 讓系統知道自己當前有多擁堵
但隊列不是越長越好。
如果隊列無限堆積,只是把失敗從“立即失敗”變成“延遲很久後失敗”。
所以工程上要配合兩個策略:
- 最大排隊長度
- 最大等待時間
超過閾值時就應該主動拒絕,而不是繼續拖。
2)連續 batching 的收益,不只是更高吞吐
像 vLLM 這類框架的價值,很大一部分就在於能持續把請求合併進 batch。
這樣做的好處是:
- 提高 GPU 利用率
- 降低空轉
- 在併發場景下比單請求串行更划算
但連續 batching 也有代價:
- 調度更復雜
- 長短請求混跑更容易互相影響
- 某些極端請求會拉壞整體尾延遲
所以很多成熟系統不會只依賴框架默認行為,而是會在上層再做:
- 按請求類型拆隊列
- 按優先級拆隊列
- 給結構化任務單獨池子
3)分級路由比“統一入口統一處理”更現實
如果你的業務已經比較複雜,建議儘早做分級路由。
比如至少區分:
- 普通對話
- 長文檔問答
- 結構化抽取
- Agent / 工具調用
- 離線批處理任務
這些任務的資源特徵、延遲目標、失敗代價都不一樣。
把它們全部塞給同一層實例,短期看省事,長期看一定會讓排障和容量規劃越來越痛苦。
五、監控不是多加幾個 dashboard,而是要能回答“系統為什麼慢、慢在哪、會不會更慢”
很多團隊說自己做了監控,其實只是畫了幾張顯卡使用率曲線。
這遠遠不夠。
生產環境裡的監控,核心不是“看起來很多數據”,而是能支撐判斷和行動。
至少要分成四層。
1)資源層監控:機器到底是不是在硬件上出問題
這一層至少要看:
- GPU 利用率
- GPU 顯存佔用
- GPU 溫度與功耗
- CPU 利用率
- 內存佔用
- 磁盤 IO
- 網絡吞吐
為什麼這一層仍然重要?
因為很多“模型變慢”,根本不是模型本身的問題,而是:
- 容器被別的進程搶資源
- 磁盤抖動導致加載異常
- 節點網絡問題引發上游超時
- 驅動或 CUDA 相關異常造成性能退化
2)服務層監控:接口有沒有在健康提供能力
這一層建議重點看:
- QPS / 請求數
- 成功率
- 4xx / 5xx 比例
- 平均響應時間
- P95 / P99 響應時間
- 排隊長度
- 請求超時數
- 主動拒絕數
這裡有個常見誤區:
平均延遲很漂亮,不代表服務真的好。
因為用戶最容易感知的是慢請求,而不是平均值。
所以尾延遲必須長期盯住。
3)推理層監控:模型服務到底卡在 prefill 還是 decode
這是大模型服務區別於普通 API 的關鍵層。
建議至少拆出:
- TTFT
- 每秒輸出 token 數
- 平均輸入 token 長度
- 平均輸出 token 長度
- prefill 耗時
- decode 耗時
- batch 大小分佈
- 每實例活躍序列數
- OOM 次數
有了這些指標,你才知道:
- 是輸入過長導致 prefill 被拖慢
- 還是輸出過長導致 decode 佔住資源
- 是 batch 太小沒有吃滿卡
- 還是 batch 太大反而引起抖動
4)業務層監控:系統快不快,不等於業務真的可用
很多時候模型服務本身沒掛,但業務已經不可用了。
比如:
- 工具調用成功率下降
- JSON 結構化輸出失敗率升高
- 答案截斷率上升
- 某類任務重試暴增
這些問題只看底層 GPU 指標是看不出來的。
所以生產系統最好再加一層業務觀測:
- 按任務類型統計成功率
- 按模型版本統計質量波動
- 記錄典型失敗樣本
- 給關鍵鏈路做 canary 請求
這才是真正能發現“系統還活著,但已經不好用了”的辦法。
六、限流不是保守,而是保護系統和保護用戶體驗
很多團隊一開始排斥限流,覺得限流是在損失業務。
但不做限流,通常損失更大。
因為推理服務一旦進入過載狀態,常見結果不是“大家都慢一點”,而是:
- 排隊迅速膨脹
- 尾延遲失控
- 超時增多
- 上游重試放大流量
- 節點開始 OOM 或抖動
- 最終整片服務不可用
所以限流本質上是:
用局部拒絕換整體可用。
1)最基礎的限流:實例級併發上限
每個實例都應該有明確的安全承載邊界。
超過之後,不要繼續盲接。
否則系統只是把失敗推遲。
常見控制點包括:
- 最大活躍請求數
- 最大排隊請求數
- 最大 token 預算
- 單請求最大輸入長度
- 單請求最大輸出長度
2)更實用的限流:按租戶、按業務、按優先級分層
如果系統服務多個業務方,統一限流通常不夠。
更合理的做法是分層:
- 核心業務優先級更高
- 內部測試流量優先級更低
- 離線批處理不要搶在線流量
- 大客戶或關鍵租戶保留配額
這樣即使系統進入緊張狀態,也不至於所有業務一起掉。
3)限流要和超時、熔斷、重試一起設計
如果只有限流,沒有配套超時與重試策略,也會出問題。
典型壞案例是:
- 模型服務慢了
- 上游超時後立即重試
- 下游繼續接收更多重複請求
- 整個系統雪崩
所以一套完整的保護機制通常包括:
- 明確超時閾值
- 有上限的指數退避重試
- 失敗快速返回
- 熔斷可疑實例
- 必要時降級到小模型或緩存答案
限流從來不是一個孤立開關,而是整套保護鏈的一部分。
七、故障恢復的關鍵,不是“永不出錯”,而是“出錯後別擴散”
大模型服務進入生產後,故障幾乎一定會發生。
真正重要的是:
- 能不能快速發現
- 能不能把影響範圍限制住
- 能不能自動恢復到可接受狀態
1)最常見的幾類故障
生產裡最常見的大模型推理故障,通常包括:
- 顯存耗盡導致 OOM
- 某個長請求拖死實例
- 推理進程卡住但沒有直接退出
- 模型權重加載失敗或重啟後恢復很慢
- 節點網絡異常導致上游誤判實例存活
- 某個版本上線後尾延遲大幅升高
這些故障很少是“徹底掛掉”這麼簡單。
更麻煩的是半故障狀態:
- 還能接請求
- 但明顯變慢
- 錯誤率開始上升
- 上游還在繼續打流量
這類狀態最容易把整片系統拖壞。
2)健康檢查要能區分“活著”和“可服務”
很多系統的 health check 只是:
- 進程在不在
- 端口通不通
這隻夠判斷“機器沒死”。
但推理服務更需要判斷:
- 是否還能正常返回結果
- 平均耗時是否異常飆升
- 是否已經連續 OOM
- 是否排隊過長
所以更靠譜的健康檢查通常會結合:
- 輕量探針請求
- 最近窗口錯誤率
- 最近窗口尾延遲
- 當前隊列積壓程度
只有這樣,流量調度層才能把真正不健康的實例摘掉。
3)恢復策略要分層,而不是全部靠重啟
重啟當然有用,但不是唯一手段。
更成熟的恢復鏈路一般會分層:
- 請求級恢復:超時、取消、重試、降級
- 實例級恢復:摘流、清隊列、重啟進程
- 節點級恢復:遷移流量、重建容器、切換節點
- 系統級恢復:回滾版本、關閉高成本功能、啟用降級模型
如果所有問題都只能靠人工 SSH 上去重啟,說明系統還沒有準備好進入長期運營階段。
4)降級機制常常比“硬扛”更重要
當系統處於高壓狀態時,降級比堅持完整能力更有價值。
常見降級方法包括:
- 把長上下文請求改走慢隊列
- 暫時降低
max_tokens - 關閉高成本結構化模式
- 從大模型切到小模型
- 對非關鍵功能返回緩存或模板化結果
降級的目標不是讓體驗完美,而是讓系統在異常時期仍然“可用”。
這在生產裡非常關鍵。
八、生產部署時,幾個關鍵參數應該怎麼理解
下面把線上最常見的幾個參數,再用生產視角解釋一遍。
1)max_model_len
含義:
- 實例允許處理的最大上下文長度
生產影響:
- 決定 KV Cache 預算
- 影響單實例併發能力
- 直接影響長請求對系統的拖拽程度
建議:
- 不要默認全量實例都開超長上下文
- 長文本需求單獨建池通常更合理
2)max_num_seqs
含義:
- 實例同時活躍處理的序列上限
生產影響:
- 決定系統併發承載方式
- 會影響 batch 行為、顯存壓力和尾延遲
建議:
- 用壓測反推,不要追求數字越大越好
3)gpu_memory_utilization
含義:
- 推理框架可使用的 GPU 顯存比例
生產影響:
- 直接影響 OOM 風險與波峰容錯空間
建議:
- 生產值通常比實驗值更保守
- 給偶發峰值留安全邊界
4)max_tokens
含義:
- 單請求最大生成長度
生產影響:
- 決定 decode 佔用時長
- 影響整體吞吐和隊列恢復速度
建議:
- 按接口分類設置,而不是給所有接口同一大值
5)請求超時參數
含義:
- 請求在系統裡最多允許等待和執行多久
生產影響:
- 決定異常請求會拖系統多久
- 直接影響上游重試行為
建議:
- 區分排隊超時和執行超時
- 超時後要有明確返回碼和降級策略
九、一套更接近現實的生產架構,通常長什麼樣
如果把一個相對健康的大模型生產系統抽象一下,常見結構會是:
- API 網關層:認證、路由、配額、限流
- 調度層:隊列、優先級、實例選擇、熔斷
- 推理層:vLLM / SGLang / 其他推理服務
- 監控與日誌層:指標、日誌、trace、告警
- 模型治理層:版本管理、灰度發佈、回滾
在這個架構裡,推理引擎只是中間一層。
真正決定生產可用性的,不只是模型框架本身,而是它前後兩端有沒有補齊:
- 前面有沒有做入口保護
- 後面有沒有做觀測和恢復
如果只有推理引擎,沒有隊列、限流、監控和回滾,系統很容易停留在“能跑的 demo 服務”階段。
十、三條最實用的生產建議
如果你準備把模型服務正式供業務使用,我覺得最值得先做的是這三件事。
建議一:先按請求類型拆池,而不是先追求一個萬能大池
普通問答、長文檔、結構化輸出、Agent 調度,不要混成一鍋。
一旦拆池,很多延遲和容量問題會立刻變得更容易解釋。
建議二:先把尾延遲和拒絕率看穩,再談極限 GPU 利用率
一個 GPU 利用率很高但 P99 很差的系統,通常不是“更高效”,而是“更脆”。
生產優先級應該是:
- 穩定性
- 可預測性
- 可恢復性
- 然後才是極限吞吐
建議三:一定做帶真實流量特徵的壓測
不要只測短 prompt。
至少要覆蓋:
- 短輸入短輸出
- 長輸入短輸出
- 長輸入長輸出
- 高峰期併發突增
- 上游重試疊加
- 結構化輸出和工具調用場景
只有這樣,監控、限流和恢復策略才不是紙上談兵。
十一、最後總結:生產環境裡的大模型服務,本質上是一個排隊系統加一個脆弱的高成本計算核心
很多人做大模型部署,前半程關注的是模型,後半程才發現真正難的是系統。
因為只要開始對外提供服務,核心問題就會變成:
- 流量波動怎麼吸收
- 長短請求怎麼隔離
- 什麼指標能真正說明系統健康
- 什麼時候該拒絕請求保護整體可用
- 節點出問題後怎麼快速恢復
所以這篇最核心的結論其實可以濃縮成一句話:
生產環境的大模型服務,不是“把模型放到 GPU 上”,而是“把推理能力變成一個可觀測、可控、可恢復的系統”。
如果你把這件事做好了,大模型服務才算真正從“能跑”走到了“可運營”。
接下來繼續往後推進,這條主線就會自然進入另外兩個更貼近應用層的問題:
- Agent 與工具調用為什麼會重新定義上層應用架構
- RAG 為什麼會成為很多業務補知識盲區的默認路線
那時重點就不再只是“服務怎麼穩”,而是“模型能力怎麼接進真實業務”。