前一篇我們把大模型生產服務拆成了更工程化的幾個層面:
- 高併發如何扛住
- 監控指標應該盯什麼
- 限流什麼時候必須做
- 故障恢復怎麼避免整片服務被拖死
但當底層推理服務逐漸穩定之後,上層應用很快會進入另一個階段:
單純“會聊天”的模型已經不夠了,系統開始要求模型去調用工具、訪問外部信息、分解任務、執行多步流程。
這時候,很多團隊會同時碰到一批新問題:
- Function Calling 和 Tool Use 到底是不是一回事?
- 為什麼模型明明“知道”要查天氣,卻不一定能正確生成工具參數?
- 為什麼 Agent demo 很聰明,一進生產就開始無限循環、亂調工具、成本飆升?
tool_choice、temperature、max_steps、超時、重試、觀察窗口這些參數到底怎麼配?- 什麼時候應該讓模型自由規劃,什麼時候應該把流程寫死?
這些問題背後,本質上不是“模型會不會調用函數”,而是:
你是不是在把語言模型,從一個文本生成器,變成一個會感知環境、調用外部能力、並基於反饋持續決策的執行系統。
這篇文章就集中講這個問題。
我想按四層來拆:
- Function Calling 是什麼,它解決了哪一層問題
- Tool Use 的完整閉環是怎麼跑起來的
- Agent 為什麼不是“多調幾個工具”這麼簡單
- 工程上最關鍵的參數、約束和防失控機制應該怎麼配
如果你已經從“給模型一個 prompt”走到了“讓模型接搜索、數據庫、瀏覽器、代碼執行、業務 API”,這一篇基本就是理解 Agent 系統的起點。
一、先說結論:Function Calling、Tool Use、Agent 是三層能力,不要混成一個詞
很多討論裡,這三個詞會被混用。
但如果不拆開,系統設計很容易做亂。
1)Function Calling:讓模型按約定格式提出“調用請求”
Function Calling 解決的核心問題是:
不要讓模型用自然語言隨便描述“我想調某個接口”,而是讓它輸出結構化、機器可解析的調用意圖。
比如你定義一個函數:
get_weather(city, date)
理想情況下,模型不應該輸出:
- “我建議查詢一下上海明天的天氣。”
而應該輸出類似:
- 工具名:
get_weather - 參數:
{"city":"上海","date":"tomorrow"}
所以 Function Calling 的重點不是“真的執行了函數”,而是:
- 工具描述如何暴露給模型
- 參數 schema 是否足夠清晰
- 模型是否能穩定產出合法參數
- 上層程序是否能安全地解析結果
它本質上是一個結構化輸出接口層。
2)Tool Use:讓模型提出調用,再由系統真的去執行,並把結果回灌
Tool Use 比 Function Calling 多了一步。
它要求系統形成完整閉環:
- 模型判斷是否需要工具
- 模型產出工具名與參數
- 外部執行器實際調用工具
- 工具返回結果
- 結果再喂回模型
- 模型基於新觀察繼續回答或繼續決策
所以 Tool Use 的關鍵,不只是 schema,而是執行與反饋。
這意味著系統開始面對真實世界的不確定性:
- 工具會超時
- 參數可能不合法
- 返回可能為空
- 外部 API 會失敗
- 多個工具結果可能互相矛盾
從這一層開始,問題就不再只是“輸出格式對不對”,而是“系統行為穩不穩定”。
3)Agent:讓模型在多步循環裡持續做“思考—行動—觀察”
Agent 則更進一步。
Agent 不是一次調用,而是一個循環:
- 根據目標決定下一步幹什麼
- 選擇工具或子任務
- 執行動作
- 觀察結果
- 判斷是否繼續、修改計劃或結束
所以 Agent 系統真正增加的,不是某個 API 字段,而是:
決策鏈路變長了。
一旦鏈路變長,問題會同步放大:
- 錯一步會不會越錯越遠
- 工具調用會不會不斷累積成本
- 是否會進入循環
- 是否會誤用危險工具
- 觀測結果如何被壓縮進上下文
- 什麼時候該停,什麼時候該交還給人
因此最實用的理解方式是:
- Function Calling 是結構化調用接口
- Tool Use 是調用閉環
- Agent 是多步決策系統
別把它們當成一件事。
二、為什麼大模型需要工具:不是因為模型不聰明,而是因為它天然受三類限制
很多人第一次接觸 Agent,會誤以為“工具是給弱模型補能力”。
其實不準確。
更本質的原因是:
1)模型參數不是實時世界
模型再大,也只是把訓練時見過的統計規律壓進參數裡。
所以它天然不擅長直接解決這類問題:
- 今天上海下不下雨
- 當前數據庫裡有多少訂單
- 某個網頁現在顯示什麼內容
- 某個代碼倉庫最新的 CI 狀態如何
這些都不是“語言知識”問題,而是實時外部狀態問題。
工具調用的意義,就是把模型和實時環境接起來。
2)模型參數不是精確執行器
即使模型知道“應該算一下”,也不代表它適合自己算。
例如:
- 複雜數學計算
- SQL 查詢
- 調 API
- 文件系統操作
- 瀏覽器點擊和頁面讀取
很多任務不是靠更會說話解決,而是靠把確定性執行交給專門系統。
3)模型參數不是長期工作流管理器
多步任務裡,模型經常會遇到:
- 中間狀態需要保存
- 失敗需要重試
- 某步結果要傳給下一步
- 超時和權限要檢查
- 有些動作需要人工確認
這些都更像系統工程,而不是單輪問答。
所以工具和 Agent 的存在,不是在替代模型,而是在承認模型的邊界。
一句話概括:
模型負責理解、規劃和生成;工具負責訪問世界、執行動作和返回確定性結果。
三、Function Calling 到底怎麼工作:本質是“給模型一個受限動作空間”
很多平臺把 Function Calling 講成一個 API 能力,但從機制上看,它更像是:
你把一組允許動作,以 schema 的形式顯式告訴模型。
1)工具定義通常至少包含三類信息
一個可用的工具描述,至少要說清楚:
- 工具名稱
- 工具用途說明
- 參數結構與字段約束
比如一個搜索工具,不能只寫:
search(query)
更好的描述通常會補清:
- 這個工具適合查實時信息
query應該是具體問題而不是空泛主題top_k的取值範圍是什麼- 什麼情況下不應該調用它
因為模型不是編譯器。
它是否會選對工具、填對參數,很大程度取決於你給的描述是不是足夠可判別。
2)schema 設計越模糊,模型越容易“看起來懂了,實際上亂調”
最常見的問題包括:
- 字段名太抽象,模型不知道該填什麼
- 多個工具功能重疊,模型難以區分
- 參數可選項過多,模型容易臆造值
- 描述裡沒有反例,模型不知道什麼時候不該調
比如:
action_typedataoptions
這種字段名從工程師角度覺得通用,但從模型角度很難判斷語義邊界。
通常更好的 schema 原則是:
- 字段名儘量語義明確
- 枚舉值儘量少且邊界清晰
- 必填參數要少而關鍵
- 描述中寫清適用場景和禁用場景
3)Function Calling 不是“保證正確調用”,只是提高調用可控性
這裡要避免一個誤解。
很多人以為只要開了 Function Calling,模型就會像一個嚴格遵循類型系統的程序。
事實並不是。
模型仍然可能:
- 選錯工具
- 漏填參數
- 生成不合法枚舉
- 在該直接回答時硬調工具
- 在該調工具時假裝自己知道答案
所以 Function Calling 更像是:
把原本完全自由的文本輸出,壓縮到了一個更容易校驗、更容易拒絕、更容易重試的空間。
這已經很重要,但還不等於“問題解決了”。
四、Tool Use 的完整鏈路:不是模型輸出完就結束,而是進入一個可失敗的執行系統
一旦開始真的調工具,系統就從“生成問題”進入“執行問題”。
一條典型鏈路通常長這樣:
- 用戶提出目標
- 模型判斷是否需要工具
- 模型輸出工具名和參數
- 系統校驗參數合法性
- 執行器發起實際調用
- 工具返回結果或錯誤
- 系統把結果壓縮成 observation 回給模型
- 模型決定結束、追問、改參數或繼續調用其他工具
這條鏈路裡,幾乎每一層都可能出錯。
1)參數校驗是第一道閘門
別直接把模型生成的參數無腦交給執行器。
至少要做:
- 類型校驗
- 必填字段檢查
- 枚舉值檢查
- 長度與範圍限制
- 危險字符過濾
- 權限相關校驗
因為模型生成的是“高概率文本”,不是天然可信輸入。
2)執行器和模型要解耦
一個很重要的工程原則是:
模型負責提出動作,執行器負責真正落地動作。
不要讓模型自己擁有無限制執行權。
更穩妥的架構通常是:
- 模型只能請求工具
- 工具白名單由系統控制
- 執行器做權限檢查、超時、審計、重試
- 某些高風險動作必須人工確認
這樣做的好處是,模型即使判斷錯了,也不會直接越過系統邊界。
3)返回結果必須做“觀察壓縮”
工具結果不是越原始越好。
如果你把大量 HTML、JSON、日誌全文、不相關字段原封不動塞回上下文,很容易出問題:
- 上下文膨脹
- 干擾模型判斷
- token 成本飆升
- 重要信息被淹沒
更好的做法通常是:
- 只保留必要字段
- 明確標註狀態:成功、失敗、空結果
- 對長結果做截斷和摘要
- 保留關鍵證據而不是全部噪音
Observation 的質量,會直接影響 Agent 下一步判斷質量。
五、Agent 為什麼容易“看起來很強,實際上很脆”
很多 Agent demo 的問題,不是第一步不會,而是第二步以後開始失控。
這正是多步系統的典型風險。
1)一步錯誤,可能在後續步驟被放大
比如模型第一步把用戶需求理解錯了。
在單輪問答裡,後果可能只是答案偏一點。
但在 Agent 裡,錯誤會繼續傳播:
- 選錯工具
- 查詢錯對象
- 得到錯誤 observation
- 基於錯誤 observation 再規劃下一步
- 最後形成一本正經但方向完全錯誤的結果
所以 Agent 最難的不是“能不能開始”,而是誤差會不會連鎖擴散。
2)自由規劃越強,行為越難預測
讓模型自由選擇工具、自由拆任務、自由決定何時結束,看起來更智能。
但代價是:
- 行為穩定性下降
- 成本更難控
- 線上問題更難復現
- 安全邊界更難驗證
因此生產上很少是“純自由 Agent”。
更常見的做法是:
- 有限工具集
- 有限步數
- 明確終止條件
- 對高風險動作加審批
- 對關鍵鏈路做半結構化流程編排
3)Agent 的瓶頸常常不是模型能力,而是上下文管理
多步循環以後,上下文會迅速膨脹。
問題包括:
- 歷史 observation 越來越長
- 早期關鍵約束被後續內容沖淡
- 模型開始遺忘初始目標
- token 成本不斷累積
所以成熟系統通常不會無腦把全量過程一直塞在上下文裡。
而是會做:
- 中間狀態結構化存儲
- 歷史步驟摘要化
- 關鍵約束單獨保留在 scratchpad 之外
- 對 observation 做窗口裁剪
Agent 的穩定性,很大程度取決於你如何管理上下文,而不是隻取決於底座模型多強。
六、最關鍵的幾個參數,到底該怎麼理解
下面把工程裡最常見、也最容易被誤用的一批參數拆開講。
1)tool_choice:讓模型自由選,還是強制用某個工具
它本質上控制的是:
- 是否允許模型自己決定要不要調用工具
- 是否要求模型必須調用指定工具
- 是否禁止工具調用,直接自然語言回答
適用建議:
- 開放問答場景:可讓模型自由選擇,但要有兜底規則
- 確定流程場景:強制指定工具更穩
- 測試/評估場景:固定工具選擇更容易對比
如果某個步驟理論上就必須查數據庫,那就別讓模型“思考是否要查”。
直接強制調用通常更穩。
2)temperature:在 Agent 裡通常比聊天更應該保守
在一般聊天裡,稍高一點的隨機性可能更自然。
但在工具調用和 Agent 任務裡,溫度過高通常意味著:
- 工具選擇更飄
- 參數填充更不穩定
- 多步鏈路更難復現
- 同一任務重複執行結果差異更大
經驗上:
- 結構化輸出、檢索、數據庫查詢、代碼執行前的規劃,溫度通常應偏低
- 只有在創意生成、候選方案發散時,才適合適度提高
別把 Agent 當成創作模型來配採樣參數。
3)max_steps:它不是隨便設的保險絲,而是成本與風險閥門
這是 Agent 系統裡最重要的保護參數之一。
它控制的是:
- 一個任務最多允許多少輪“思考—行動—觀察”循環
值太小:
- 合法複雜任務做不完
值太大:
- 容易死循環
- 成本失控
- 失敗被拖很久才暴露
比較實用的思路是:
- 簡單任務給小步數
- 複雜任務按任務模板給不同上限
- 接近上限時觸發總結或交還人工
max_steps 本質上是 Agent 的預算參數,不是可有可無的默認值。
4)超時參數:必須區分模型超時、工具超時、總任務超時
很多系統只有一個統一 timeout,這通常不夠。
更合理的拆法是:
- 單次模型生成超時
- 單次工具執行超時
- 整個任務總超時
- 排隊等待超時
因為這四種超時背後的原因不同:
- 模型慢,可能是上下文過長或服務擁堵
- 工具慢,可能是外部 API 或網絡問題
- 總任務慢,可能是循環過多
- 排隊超時,可能是系統容量問題
只有拆開,你才知道該優化哪一層。
5)重試參數:不是所有失敗都該重試
重試看起來很合理,但在 Agent 裡尤其危險。
因為一次失敗重試,可能觸發:
- 更多 token 消耗
- 更多外部 API 調用
- 更長任務鏈路
- 重複副作用
應該區分:
- 可重試錯誤:臨時超時、短暫網絡錯誤、限流
- 不可重試錯誤:參數非法、權限不足、業務約束不滿足
並且要配:
- 最大重試次數
- 指數退避
- 冪等設計
- 對有副作用操作加去重鍵
否則 Agent 很容易把一個瞬時異常放大成連環調用事故。
6)觀察窗口與上下文裁剪參數:決定 Agent 會不會“越做越糊塗”
很多框架喜歡把完整過程塞回上下文。
短期看方便,長期看風險大。
需要明確控制:
- 保留最近幾步 observation
- 歷史步驟何時摘要化
- 哪些系統約束要常駐上下文
- 哪些中間結果只放外部狀態,不回灌模型
這個參數組,常常比“換更強模型”更影響系統穩定性。
七、生產裡真正重要的,不是讓 Agent 更自由,而是讓它更可控
很多團隊剛做 Agent 時,目標是“儘可能像人一樣自主”。
但一到生產,優先級就會變成另外四件事:
- 可預測
- 可審計
- 可回放
- 可止損
1)工具白名單和權限分級必須做
不是所有工具都應該暴露給同一個 Agent。
更安全的設計通常是:
- 只暴露任務所需最小工具集
- 讀操作和寫操作分開
- 外部副作用工具單獨審批
- 按用戶身份、租戶、環境做權限切分
一個能調用十個工具的 Agent,不一定比一個只會調兩個工具的 Agent 更好。
它可能只是更危險。
2)高風險動作要有人類確認節點
例如:
- 發郵件
- 下單
- 刪除數據
- 修改數據庫
- 執行生產命令
- 對外發送消息
這些動作不應該只因為模型“很有把握”就直接執行。
更穩妥的模式是:
- 先生成行動建議
- 明確展示將調用的工具和參數
- 等待人工確認
- 再執行
這會犧牲一點流暢性,但能換來可控性。
3)日誌與軌跡必須能回放
Agent 系統出了問題,如果你只能看到“最終回答錯了”,基本是排不動的。
至少要能回放:
- 每一步 prompt 或系統狀態
- 每一步工具選擇
- 參數內容
- observation 內容
- 錯誤類型
- 總步數、總 token、總耗時
否則你根本不知道問題出在:
- 模型判斷錯
- schema 不清晰
- 工具返回髒數據
- 裁剪策略把關鍵信息截掉了
- 超時和重試策略互相打架
4)要有明確終止條件,而不是“直到模型說結束”
終止條件最好是多重的:
- 達到目標
- 達到最大步數
- 達到總超時
- 達到成本預算
- 連續若干步沒有有效進展
- 連續重複同一工具調用
如果終止條件只有“模型自己決定結束”,那系統遲早會遇到無限循環或偽完成。
八、什麼時候該上 Agent,什麼時候其實不需要 Agent
這是一個很實用的問題。
因為很多任務被包裝成 Agent,其實只是流程沒有設計好。
適合 Agent 的場景
通常有這幾個特徵:
- 任務路徑不固定
- 需要根據中間結果動態決策
- 可能涉及多個工具協作
- 需要多步搜索、篩選、驗證
- 人工事先難以寫死全部流程
比如:
- 多源信息檢索與交叉驗證
- 複雜報表分析
- 瀏覽器任務自動化
- 代碼庫定位問題並嘗試修復
- 需要探索式完成的開放任務
不適合 Agent 的場景
如果流程本來就很確定,其實更適合工作流而不是 Agent。
例如:
- 查數據庫 → 填模板 → 返回結果
- 固定字段抽取 → JSON 輸出
- 固定 API 查詢 → 結果整形
- 審批通過後執行一個確定動作
這類任務用編排式 workflow 往往更穩、更便宜、更容易調試。
一個很實用的判斷標準是:
如果你能把流程規則穩定寫清楚,就優先寫流程;只有當中間決策真的不可預定義時,再引入 Agent。
九、一個更接近現實的 Agent 系統,通常長什麼樣
如果把一個相對成熟的 Agent 系統抽象一下,常見結構會是:
- 任務入口層:接收用戶目標,做身份與權限校驗
- 規劃/決策層:決定下一步是回答、調用工具還是繼續搜索
- 工具執行層:白名單工具、參數校驗、權限控制、超時與重試
- 狀態管理層:保存任務狀態、中間結果、歷史摘要、預算消耗
- 觀測與審計層:日誌、軌跡、指標、告警、回放
- 人工接管層:高風險動作確認、失敗兜底、人工糾偏
在這個結構裡,底座模型只是中間的一部分。
真正決定 Agent 能否進入生產的,不只是模型是否足夠聰明,而是:
- 工具邊界有沒有收好
- 狀態有沒有管理好
- 錯誤有沒有隔離好
- 成本有沒有預算好
- 人有沒有辦法及時接管
十、三條最實用的落地建議
如果你準備把 Function Calling 或 Agent 接到真實業務裡,我最建議先做好下面三件事。
建議一:先從“單工具閉環”做起,不要一開始就追求通用 Agent
先把一個明確任務跑穩:
- 什麼時候調用
- 參數怎麼生成
- 返回結果怎麼壓縮
- 失敗怎麼處理
等單工具閉環穩定後,再擴到多工具協作。
這比一開始堆十幾個工具、追求“全能代理”靠譜得多。
建議二:把 schema 設計當成產品設計,而不是順手寫個 JSON
工具名、參數名、字段描述、枚舉值、適用邊界,都會直接影響模型行為。
很多所謂“模型不會調工具”,本質上其實是 schema 寫得太差。
建議三:優先把預算和終止條件做嚴,再追求智能感
先控制好:
- 最大步數
- 總超時
- 工具超時
- 重試上限
- 可用工具範圍
- 高風險動作審批
把系統先做穩,再考慮讓 Agent 更自由。
生產系統裡,“可控的 80 分”通常比“偶爾驚豔、偶爾翻車的 95 分”更有價值。
十一、最後總結:Agent 不是一個 API 功能,而是一種把模型接入環境的系統設計
很多人第一次接觸 Function Calling 和 Agent,會覺得這只是模型廠商加的幾個新字段。
但如果從工程角度看,真正變化很大。
因為從這一刻起,模型不再只是回答問題,而是在:
- 理解目標
- 選擇動作
- 調用工具
- 讀取反饋
- 在多步循環裡持續決策
所以這篇最核心的結論可以濃縮成一句話:
Function Calling 解決的是“怎麼結構化提出調用請求”,Tool Use 解決的是“怎麼形成執行閉環”,Agent 解決的是“怎麼在多步環境裡持續做決策”。
而生產裡的關鍵,從來不是把 Agent 做得多像人,而是把它做得:
- 有邊界
- 有預算
- 有審計
- 有終止條件
- 出錯後能止損
如果這些都沒有,Agent 往往只是一個更貴、更難排障的 prompt 套殼系統。
如果這些都做好了,模型才真正有機會從“會說話”走向“會做事”。
接下來按這條主線繼續往後推進,一個很自然的問題就是:
為什麼很多業務最後都會走向 RAG,而不是隻靠 Agent 或更大參數模型來補知識盲區?
那會把話題進一步推進到“知識接入”和“檢索增強”的工程層面。