前一篇把本地部署這件事拆開講了:

  • Ollama 更適合快速本地驗證
  • vLLM 更像服務化推理基礎設施
  • SGLang 更適合複雜推理編排
  • max_model_len、gpu_memory_utilization、tensor_parallel_size、max_num_seqs 這類參數決定了服務上限,而不只是“能不能啟動”

但很多團隊真正上線時,遇到的問題很快就不再是“模型能不能跑”,而是:

  • 為什麼單用戶體驗很好,一上併發就開始排隊甚至超時?
  • 為什麼 GPU 利用率看起來很高,但用戶還是覺得慢?
  • 為什麼日誌裡沒報錯,服務卻偶發性卡住?
  • 為什麼同樣的模型、同樣的顯卡,測試環境穩定,生產環境卻經常抖?
  • 為什麼一次流量高峰之後,尾延遲會拖很久才恢復?

這些問題背後,本質上都不是“模型不夠強”,而是推理服務進入生產後,系統目標變了。

本地階段看的是:能不能跑、效果好不好。

生產階段看的是:

  • 高峰時能不能扛住
  • 延遲能不能預測
  • 故障能不能隔離
  • 出問題能不能定位
  • 模型服務能不能像一個工程系統一樣被運營

這篇就集中講這個問題。

我想把大模型生產服務拆成四層來看:

  1. 高併發怎麼扛:吞吐、排隊、批處理、實例規模怎麼平衡
  2. 監控怎麼做:哪些指標真正能反映推理服務健康度
  3. 限流怎麼做:什麼時候該拒絕請求,而不是把系統拖死
  4. 故障恢復怎麼做:模型服務抖動、OOM、節點異常後怎麼儘快止損

如果你已經從“本地能跑”走到了“要給業務長期提供 API”,這一篇基本就是分水嶺。


一、先把問題說透:生產環境裡的核心矛盾,不是模型推得快,而是請求來得不均勻

很多人一開始做推理服務,會默認用單次請求的速度來判斷系統好不好。

比如:

  • 首 token 延遲 1 秒以內
  • 每秒能生成 40 token
  • 某個 benchmark 跑得不錯

這些都重要,但還不夠。

因為生產環境不是一條請求勻速進入系統,而是:

  • 有時空閒
  • 有時瞬間衝進來一批請求
  • 有的請求很短
  • 有的請求上下文很長、輸出也很長
  • 有的請求還要求結構化輸出、工具調用、多輪重試

所以線上最關鍵的問題不是:

單條請求快不快。

而是:

流量波動時,系統還能不能維持穩定、可預期的響應。

這會直接把幾個概念拉到前臺:

  • 吞吐量(throughput)
  • 首 token 延遲(TTFT)
  • 請求總耗時
  • P95 / P99 尾延遲
  • 排隊長度
  • 實例利用率

很多團隊的問題就出在這裡:

把推理服務當成“更貴一點的 Web 接口”,卻沒有按排隊系統去設計。

而大模型服務一旦進入排隊系統視角,你會發現策略完全變了。


二、高併發不是靠“更大的卡”自動解決,而是靠調度策略和容量規劃

GPU 更大當然有幫助,但不是決定性答案。

真正決定系統是否能扛併發的,通常是三件事:

1)單位時間能處理多少 token

大模型服務的核心資源,不是請求數本身,而是 token 處理能力。

因為一個請求的成本主要來自兩段:

  • prefill:把輸入上下文編碼進去
  • decode:逐 token 生成輸出

這兩段的資源特徵不同:

  • prefill 更像一次性計算高峰,輸入越長越重
  • decode 更像持續佔用,輸出越長越拖系統

所以生產上別隻看 QPS。

更穩妥的是同時看:

  • 輸入 token/s
  • 輸出 token/s
  • 平均每請求輸入長度
  • 平均每請求輸出長度

否則兩個“同樣 10 QPS”的業務,系統壓力可能完全不是一個量級。

2)高併發本質上是“長短請求混跑”問題

最麻煩的不是高併發本身,而是不同類型請求同時進來。

比如一個實例上同時出現:

  • 200 token 輸入、100 token 輸出的輕請求
  • 8k token 輸入、1k token 輸出的重請求
  • 需要 JSON 結構化輸出、失敗還會重試的複雜請求

如果沒有調度隔離,系統就會出現非常典型的問題:

  • 輕請求被重請求拖慢
  • 排隊時間不可預測
  • 尾延遲迅速升高
  • 用戶體感比平均值差很多

所以線上不要只做“統一模型服務”,還要做請求類型分層。

常見做法包括:

  • 短請求和長請求分開路由
  • 普通聊天和結構化抽取分開實例
  • 長上下文能力做成專門服務池
  • 高優任務和低優任務使用不同隊列

很多系統明明算力夠,卻因為所有請求混在一起,最後把體驗做壞了。

3)併發上限不是拍腦袋設的,而是靠壓測反推

很多參數名字看起來像“容量開關”,但其實只是你對風險的選擇。

比如:

  • max_num_seqs
  • max_model_len
  • gpu_memory_utilization
  • max_tokens
  • batch 上限

這些值配大一點,表面上看實例能接更多請求。

但真實情況往往是:

  • 顯存更緊張
  • 長請求更容易把隊列拖長
  • P99 更難看
  • OOM 風險更高

所以容量規劃的正確順序通常是:

  1. 先定義目標流量模型
  2. 再用真實輸入長度和輸出長度做壓測
  3. 觀察 TTFT、吞吐、P95/P99、OOM 情況
  4. 反推出單實例安全併發上限
  5. 再決定實例數和擴容策略

不是先把參數擰到最大,再希望系統自己穩定下來。


三、在線推理裡最重要的工程問題之一,是把 prefill 和 decode 分開理解

很多系統調優總是陷入一個誤區:

“模型慢了,就繼續加機器。”

但如果不區分 prefill 和 decode,很多優化其實會失焦。

1)prefill 為什麼經常在長文檔場景裡成為瓶頸

當用戶一次塞進來大量上下文時,系統首先要把整段輸入編碼進 KV Cache。

這一步的典型特徵是:

  • 算力消耗集中
  • 對輸入長度非常敏感
  • 可能在流量高峰時造成瞬時擁堵

所以 RAG、長文檔問答、長對話續寫這類場景,經常不是 decode 慢,而是 prefill 先把前面堵住了。

這也是為什麼很多團隊後來會做:

  • chunk 控制
  • 上下文截斷
  • 檢索條數限制
  • prompt 模板瘦身

這些動作看起來像“提示詞優化”,其實本質上是在做系統負載控制。

2)decode 為什麼更像持續性的系統佔用

進入生成階段後,每個請求會持續佔著資源往前跑。

如果輸出長度不受控,就會出現兩個問題:

  • 單個請求在系統裡停留過久
  • 隊列後面的請求越來越多

所以線上一般不會讓 max_tokens 無限制放開。

更實際的做法是:

  • 按接口類型限制輸出長度
  • 摘要接口給較短上限
  • 報告生成接口單獨走重服務
  • Agent 任務按階段拆開,而不是一次生成到底

本質上,max_tokens 不只是內容參數,它同時也是調度參數。

3)為什麼很多團隊會把長上下文和普通問答拆成兩套服務

原因很簡單:

  • 長上下文實例需要更多顯存預算
  • 它更容易被長 prefill 拖慢
  • 它會壓縮普通問答的併發承載能力

如果所有業務都共用一套長窗口實例,結果通常是:

  • 普通請求成本變高
  • 吞吐下降
  • 用戶體感變差

所以更合理的方案往往是:

  • 普通 4k / 8k 服務池
  • 長文本 32k / 64k 服務池
  • 必要時再做高優先級路由

這比“一套實例打天下”更工程化。


四、真正能扛住高併發的系統,通常都做了隊列、批處理和分級路由

推理服務只要一進生產,就幾乎繞不開這三件事。

1)隊列不是可選項,而是系統緩衝層

很多人對隊列有誤解,覺得一排隊就是系統不行。

其實不是。

沒有隊列的系統,遇到突發流量時更容易直接失控。

隊列的作用主要有三個:

  • 吸收突發流量
  • 給調度器留出合併請求的時間窗口
  • 讓系統知道自己當前有多擁堵

但隊列不是越長越好。

如果隊列無限堆積,只是把失敗從“立即失敗”變成“延遲很久後失敗”。

所以工程上要配合兩個策略:

  • 最大排隊長度
  • 最大等待時間

超過閾值時就應該主動拒絕,而不是繼續拖。

2)連續 batching 的收益,不只是更高吞吐

像 vLLM 這類框架的價值,很大一部分就在於能持續把請求合併進 batch。

這樣做的好處是:

  • 提高 GPU 利用率
  • 降低空轉
  • 在併發場景下比單請求串行更划算

但連續 batching 也有代價:

  • 調度更復雜
  • 長短請求混跑更容易互相影響
  • 某些極端請求會拉壞整體尾延遲

所以很多成熟系統不會只依賴框架默認行為,而是會在上層再做:

  • 按請求類型拆隊列
  • 按優先級拆隊列
  • 給結構化任務單獨池子

3)分級路由比“統一入口統一處理”更現實

如果你的業務已經比較複雜,建議儘早做分級路由。

比如至少區分:

  • 普通對話
  • 長文檔問答
  • 結構化抽取
  • Agent / 工具調用
  • 離線批處理任務

這些任務的資源特徵、延遲目標、失敗代價都不一樣。

把它們全部塞給同一層實例,短期看省事,長期看一定會讓排障和容量規劃越來越痛苦。


五、監控不是多加幾個 dashboard,而是要能回答“系統為什麼慢、慢在哪、會不會更慢”

很多團隊說自己做了監控,其實只是畫了幾張顯卡使用率曲線。

這遠遠不夠。

生產環境裡的監控,核心不是“看起來很多數據”,而是能支撐判斷和行動。

至少要分成四層。

1)資源層監控:機器到底是不是在硬件上出問題

這一層至少要看:

  • GPU 利用率
  • GPU 顯存佔用
  • GPU 溫度與功耗
  • CPU 利用率
  • 內存佔用
  • 磁盤 IO
  • 網絡吞吐

為什麼這一層仍然重要?

因為很多“模型變慢”,根本不是模型本身的問題,而是:

  • 容器被別的進程搶資源
  • 磁盤抖動導致加載異常
  • 節點網絡問題引發上游超時
  • 驅動或 CUDA 相關異常造成性能退化

2)服務層監控:接口有沒有在健康提供能力

這一層建議重點看:

  • QPS / 請求數
  • 成功率
  • 4xx / 5xx 比例
  • 平均響應時間
  • P95 / P99 響應時間
  • 排隊長度
  • 請求超時數
  • 主動拒絕數

這裡有個常見誤區:

平均延遲很漂亮,不代表服務真的好。

因為用戶最容易感知的是慢請求,而不是平均值。

所以尾延遲必須長期盯住。

3)推理層監控:模型服務到底卡在 prefill 還是 decode

這是大模型服務區別於普通 API 的關鍵層。

建議至少拆出:

  • TTFT
  • 每秒輸出 token 數
  • 平均輸入 token 長度
  • 平均輸出 token 長度
  • prefill 耗時
  • decode 耗時
  • batch 大小分佈
  • 每實例活躍序列數
  • OOM 次數

有了這些指標,你才知道:

  • 是輸入過長導致 prefill 被拖慢
  • 還是輸出過長導致 decode 佔住資源
  • 是 batch 太小沒有吃滿卡
  • 還是 batch 太大反而引起抖動

4)業務層監控:系統快不快,不等於業務真的可用

很多時候模型服務本身沒掛,但業務已經不可用了。

比如:

  • 工具調用成功率下降
  • JSON 結構化輸出失敗率升高
  • 答案截斷率上升
  • 某類任務重試暴增

這些問題只看底層 GPU 指標是看不出來的。

所以生產系統最好再加一層業務觀測:

  • 按任務類型統計成功率
  • 按模型版本統計質量波動
  • 記錄典型失敗樣本
  • 給關鍵鏈路做 canary 請求

這才是真正能發現“系統還活著,但已經不好用了”的辦法。


六、限流不是保守,而是保護系統和保護用戶體驗

很多團隊一開始排斥限流,覺得限流是在損失業務。

但不做限流,通常損失更大。

因為推理服務一旦進入過載狀態,常見結果不是“大家都慢一點”,而是:

  • 排隊迅速膨脹
  • 尾延遲失控
  • 超時增多
  • 上游重試放大流量
  • 節點開始 OOM 或抖動
  • 最終整片服務不可用

所以限流本質上是:

用局部拒絕換整體可用。

1)最基礎的限流:實例級併發上限

每個實例都應該有明確的安全承載邊界。

超過之後,不要繼續盲接。

否則系統只是把失敗推遲。

常見控制點包括:

  • 最大活躍請求數
  • 最大排隊請求數
  • 最大 token 預算
  • 單請求最大輸入長度
  • 單請求最大輸出長度

2)更實用的限流:按租戶、按業務、按優先級分層

如果系統服務多個業務方,統一限流通常不夠。

更合理的做法是分層:

  • 核心業務優先級更高
  • 內部測試流量優先級更低
  • 離線批處理不要搶在線流量
  • 大客戶或關鍵租戶保留配額

這樣即使系統進入緊張狀態,也不至於所有業務一起掉。

3)限流要和超時、熔斷、重試一起設計

如果只有限流,沒有配套超時與重試策略,也會出問題。

典型壞案例是:

  • 模型服務慢了
  • 上游超時後立即重試
  • 下游繼續接收更多重複請求
  • 整個系統雪崩

所以一套完整的保護機制通常包括:

  • 明確超時閾值
  • 有上限的指數退避重試
  • 失敗快速返回
  • 熔斷可疑實例
  • 必要時降級到小模型或緩存答案

限流從來不是一個孤立開關,而是整套保護鏈的一部分。


七、故障恢復的關鍵,不是“永不出錯”,而是“出錯後別擴散”

大模型服務進入生產後,故障幾乎一定會發生。

真正重要的是:

  • 能不能快速發現
  • 能不能把影響範圍限制住
  • 能不能自動恢復到可接受狀態

1)最常見的幾類故障

生產裡最常見的大模型推理故障,通常包括:

  • 顯存耗盡導致 OOM
  • 某個長請求拖死實例
  • 推理進程卡住但沒有直接退出
  • 模型權重加載失敗或重啟後恢復很慢
  • 節點網絡異常導致上游誤判實例存活
  • 某個版本上線後尾延遲大幅升高

這些故障很少是“徹底掛掉”這麼簡單。

更麻煩的是半故障狀態:

  • 還能接請求
  • 但明顯變慢
  • 錯誤率開始上升
  • 上游還在繼續打流量

這類狀態最容易把整片系統拖壞。

2)健康檢查要能區分“活著”和“可服務”

很多系統的 health check 只是:

  • 進程在不在
  • 端口通不通

這隻夠判斷“機器沒死”。

但推理服務更需要判斷:

  • 是否還能正常返回結果
  • 平均耗時是否異常飆升
  • 是否已經連續 OOM
  • 是否排隊過長

所以更靠譜的健康檢查通常會結合:

  • 輕量探針請求
  • 最近窗口錯誤率
  • 最近窗口尾延遲
  • 當前隊列積壓程度

只有這樣,流量調度層才能把真正不健康的實例摘掉。

3)恢復策略要分層,而不是全部靠重啟

重啟當然有用,但不是唯一手段。

更成熟的恢復鏈路一般會分層:

  • 請求級恢復:超時、取消、重試、降級
  • 實例級恢復:摘流、清隊列、重啟進程
  • 節點級恢復:遷移流量、重建容器、切換節點
  • 系統級恢復:回滾版本、關閉高成本功能、啟用降級模型

如果所有問題都只能靠人工 SSH 上去重啟,說明系統還沒有準備好進入長期運營階段。

4)降級機制常常比“硬扛”更重要

當系統處於高壓狀態時,降級比堅持完整能力更有價值。

常見降級方法包括:

  • 把長上下文請求改走慢隊列
  • 暫時降低 max_tokens
  • 關閉高成本結構化模式
  • 從大模型切到小模型
  • 對非關鍵功能返回緩存或模板化結果

降級的目標不是讓體驗完美,而是讓系統在異常時期仍然“可用”。

這在生產裡非常關鍵。


八、生產部署時,幾個關鍵參數應該怎麼理解

下面把線上最常見的幾個參數,再用生產視角解釋一遍。

1)max_model_len

含義:

  • 實例允許處理的最大上下文長度

生產影響:

  • 決定 KV Cache 預算
  • 影響單實例併發能力
  • 直接影響長請求對系統的拖拽程度

建議:

  • 不要默認全量實例都開超長上下文
  • 長文本需求單獨建池通常更合理

2)max_num_seqs

含義:

  • 實例同時活躍處理的序列上限

生產影響:

  • 決定系統併發承載方式
  • 會影響 batch 行為、顯存壓力和尾延遲

建議:

  • 用壓測反推,不要追求數字越大越好

3)gpu_memory_utilization

含義:

  • 推理框架可使用的 GPU 顯存比例

生產影響:

  • 直接影響 OOM 風險與波峰容錯空間

建議:

  • 生產值通常比實驗值更保守
  • 給偶發峰值留安全邊界

4)max_tokens

含義:

  • 單請求最大生成長度

生產影響:

  • 決定 decode 佔用時長
  • 影響整體吞吐和隊列恢復速度

建議:

  • 按接口分類設置,而不是給所有接口同一大值

5)請求超時參數

含義:

  • 請求在系統裡最多允許等待和執行多久

生產影響:

  • 決定異常請求會拖系統多久
  • 直接影響上游重試行為

建議:

  • 區分排隊超時和執行超時
  • 超時後要有明確返回碼和降級策略

九、一套更接近現實的生產架構,通常長什麼樣

如果把一個相對健康的大模型生產系統抽象一下,常見結構會是:

  • API 網關層:認證、路由、配額、限流
  • 調度層:隊列、優先級、實例選擇、熔斷
  • 推理層:vLLM / SGLang / 其他推理服務
  • 監控與日誌層:指標、日誌、trace、告警
  • 模型治理層:版本管理、灰度發佈、回滾

在這個架構裡,推理引擎只是中間一層。

真正決定生產可用性的,不只是模型框架本身,而是它前後兩端有沒有補齊:

  • 前面有沒有做入口保護
  • 後面有沒有做觀測和恢復

如果只有推理引擎,沒有隊列、限流、監控和回滾,系統很容易停留在“能跑的 demo 服務”階段。


十、三條最實用的生產建議

如果你準備把模型服務正式供業務使用,我覺得最值得先做的是這三件事。

建議一:先按請求類型拆池,而不是先追求一個萬能大池

普通問答、長文檔、結構化輸出、Agent 調度,不要混成一鍋。

一旦拆池,很多延遲和容量問題會立刻變得更容易解釋。

建議二:先把尾延遲和拒絕率看穩,再談極限 GPU 利用率

一個 GPU 利用率很高但 P99 很差的系統,通常不是“更高效”,而是“更脆”。

生產優先級應該是:

  • 穩定性
  • 可預測性
  • 可恢復性
  • 然後才是極限吞吐

建議三:一定做帶真實流量特徵的壓測

不要只測短 prompt。

至少要覆蓋:

  • 短輸入短輸出
  • 長輸入短輸出
  • 長輸入長輸出
  • 高峰期併發突增
  • 上游重試疊加
  • 結構化輸出和工具調用場景

只有這樣,監控、限流和恢復策略才不是紙上談兵。


十一、最後總結:生產環境裡的大模型服務,本質上是一個排隊系統加一個脆弱的高成本計算核心

很多人做大模型部署,前半程關注的是模型,後半程才發現真正難的是系統。

因為只要開始對外提供服務,核心問題就會變成:

  • 流量波動怎麼吸收
  • 長短請求怎麼隔離
  • 什麼指標能真正說明系統健康
  • 什麼時候該拒絕請求保護整體可用
  • 節點出問題後怎麼快速恢復

所以這篇最核心的結論其實可以濃縮成一句話:

生產環境的大模型服務,不是“把模型放到 GPU 上”,而是“把推理能力變成一個可觀測、可控、可恢復的系統”。

如果你把這件事做好了,大模型服務才算真正從“能跑”走到了“可運營”。

接下來繼續往後推進,這條主線就會自然進入另外兩個更貼近應用層的問題:

  • Agent 與工具調用為什麼會重新定義上層應用架構
  • RAG 為什麼會成為很多業務補知識盲區的默認路線

那時重點就不再只是“服務怎麼穩”,而是“模型能力怎麼接進真實業務”。