
適合讀者
- 準備上線大模型功能的後端工程師
- 需要提升穩定性的技術負責人
這篇文章解決什麼問題?
單次 API 調用失敗會直接影響用戶流程,缺少可觀測和降級策略。
核心概念解釋
- 超時
- 指數退避
- 限流
- 熔斷
- 降級
實戰步驟
- 封裝統一調用函數
- 設置超時和最大重試次數
- 記錄失敗原因
- 在無 Key 或失敗時返回 mock 提示
Python 代碼示例
本文配套 demo 會生成在:
cd examples/llm-guides/004_llm_api_error_retry
python demo.py
示例代碼遵循兩個原則:
- 從
OPENAI_API_KEY讀取密鑰,不在代碼裡寫死。 - 沒有 API Key 時自動進入 mock 模式,方便先理解流程。
核心調用方式可以簡化成下面這樣:
import os
api_key = os.getenv("OPENAI_API_KEY")
if not api_key:
print("未配置 OPENAI_API_KEY,进入 mock 模式。")
else:
# 真实项目中在这里初始化 SDK 客户端并发起请求。
print("已读取 OPENAI_API_KEY,可以调用模型。")
常見坑
- 只跑通 Demo 就直接發佈,缺少錯誤處理、日誌和人工審核。
- 把 API Key、真實路徑、賬號或業務數據寫進文章和代碼。
- 沒有區分 mock 示例和真實線上環境,導致讀者複製後無法復現。
- 引用 API 或框架能力時沒有核對官方文檔,版本變化後容易誤導讀者。
總結
- 這篇文章圍繞「大模型使用指南 04:API 調用失敗時如何做重試、限流和降級?」解決一個具體工程問題:單次 API 調用失敗會直接影響用戶流程,缺少可觀測和降級策略。
- 實踐時優先保證可復現、可回滾、可人工審核,不要只追求一次性生成效果。
- 涉及模型能力、API 參數和第三方框架時,發佈前需要重新核對官方文檔。
CSDN 標籤
大模型、API、Python、穩定性、後端
公眾號摘要
文章用工程化視角拆解大模型 API 失敗處理,讓示例代碼更接近真實生產環境。
知乎標題變體
- 大模型 API 失敗時應該直接報錯嗎?
- 如何給 LLM 調用加上重試和降級?
- 大模型應用上線前要補哪些穩定性措施?
參考資料與延伸閱讀
- OpenAI 官方文檔:以你實際使用的模型、SDK 和賬號權限為準。
- Python 官方文檔:環境變量、虛擬環境和異常處理部分。
- 相關框架官方文檔:LangChain、LlamaIndex、Haystack、向量數據庫等按文章主題選擇。