前一篇我們把大模型生產服務拆成了更工程化的幾個層面:

  • 高併發如何扛住
  • 監控指標應該盯什麼
  • 限流什麼時候必須做
  • 故障恢復怎麼避免整片服務被拖死

但當底層推理服務逐漸穩定之後,上層應用很快會進入另一個階段:

單純“會聊天”的模型已經不夠了,系統開始要求模型去調用工具、訪問外部信息、分解任務、執行多步流程。

這時候,很多團隊會同時碰到一批新問題:

  • Function Calling 和 Tool Use 到底是不是一回事?
  • 為什麼模型明明“知道”要查天氣,卻不一定能正確生成工具參數?
  • 為什麼 Agent demo 很聰明,一進生產就開始無限循環、亂調工具、成本飆升?
  • tool_choice、temperature、max_steps、超時、重試、觀察窗口這些參數到底怎麼配?
  • 什麼時候應該讓模型自由規劃,什麼時候應該把流程寫死?

這些問題背後,本質上不是“模型會不會調用函數”,而是:

你是不是在把語言模型,從一個文本生成器,變成一個會感知環境、調用外部能力、並基於反饋持續決策的執行系統。

這篇文章就集中講這個問題。

我想按四層來拆:

  1. Function Calling 是什麼,它解決了哪一層問題
  2. Tool Use 的完整閉環是怎麼跑起來的
  3. Agent 為什麼不是“多調幾個工具”這麼簡單
  4. 工程上最關鍵的參數、約束和防失控機制應該怎麼配

如果你已經從“給模型一個 prompt”走到了“讓模型接搜索、數據庫、瀏覽器、代碼執行、業務 API”,這一篇基本就是理解 Agent 系統的起點。


一、先說結論:Function Calling、Tool Use、Agent 是三層能力,不要混成一個詞

很多討論裡,這三個詞會被混用。

但如果不拆開,系統設計很容易做亂。

1)Function Calling:讓模型按約定格式提出“調用請求”

Function Calling 解決的核心問題是:

不要讓模型用自然語言隨便描述“我想調某個接口”,而是讓它輸出結構化、機器可解析的調用意圖。

比如你定義一個函數:

  • get_weather(city, date)

理想情況下,模型不應該輸出:

  • “我建議查詢一下上海明天的天氣。”

而應該輸出類似:

  • 工具名:get_weather
  • 參數:{"city":"上海","date":"tomorrow"}

所以 Function Calling 的重點不是“真的執行了函數”,而是:

  • 工具描述如何暴露給模型
  • 參數 schema 是否足夠清晰
  • 模型是否能穩定產出合法參數
  • 上層程序是否能安全地解析結果

它本質上是一個結構化輸出接口層。

2)Tool Use:讓模型提出調用,再由系統真的去執行,並把結果回灌

Tool Use 比 Function Calling 多了一步。

它要求系統形成完整閉環:

  • 模型判斷是否需要工具
  • 模型產出工具名與參數
  • 外部執行器實際調用工具
  • 工具返回結果
  • 結果再喂回模型
  • 模型基於新觀察繼續回答或繼續決策

所以 Tool Use 的關鍵,不只是 schema,而是執行與反饋。

這意味著系統開始面對真實世界的不確定性:

  • 工具會超時
  • 參數可能不合法
  • 返回可能為空
  • 外部 API 會失敗
  • 多個工具結果可能互相矛盾

從這一層開始,問題就不再只是“輸出格式對不對”,而是“系統行為穩不穩定”。

3)Agent:讓模型在多步循環裡持續做“思考—行動—觀察”

Agent 則更進一步。

Agent 不是一次調用,而是一個循環:

  • 根據目標決定下一步幹什麼
  • 選擇工具或子任務
  • 執行動作
  • 觀察結果
  • 判斷是否繼續、修改計劃或結束

所以 Agent 系統真正增加的,不是某個 API 字段,而是:

決策鏈路變長了。

一旦鏈路變長,問題會同步放大:

  • 錯一步會不會越錯越遠
  • 工具調用會不會不斷累積成本
  • 是否會進入循環
  • 是否會誤用危險工具
  • 觀測結果如何被壓縮進上下文
  • 什麼時候該停,什麼時候該交還給人

因此最實用的理解方式是:

  • Function Calling 是結構化調用接口
  • Tool Use 是調用閉環
  • Agent 是多步決策系統

別把它們當成一件事。


二、為什麼大模型需要工具:不是因為模型不聰明,而是因為它天然受三類限制

很多人第一次接觸 Agent,會誤以為“工具是給弱模型補能力”。

其實不準確。

更本質的原因是:

1)模型參數不是實時世界

模型再大,也只是把訓練時見過的統計規律壓進參數裡。

所以它天然不擅長直接解決這類問題:

  • 今天上海下不下雨
  • 當前數據庫裡有多少訂單
  • 某個網頁現在顯示什麼內容
  • 某個代碼倉庫最新的 CI 狀態如何

這些都不是“語言知識”問題,而是實時外部狀態問題。

工具調用的意義,就是把模型和實時環境接起來。

2)模型參數不是精確執行器

即使模型知道“應該算一下”,也不代表它適合自己算。

例如:

  • 複雜數學計算
  • SQL 查詢
  • 調 API
  • 文件系統操作
  • 瀏覽器點擊和頁面讀取

很多任務不是靠更會說話解決,而是靠把確定性執行交給專門系統。

3)模型參數不是長期工作流管理器

多步任務裡,模型經常會遇到:

  • 中間狀態需要保存
  • 失敗需要重試
  • 某步結果要傳給下一步
  • 超時和權限要檢查
  • 有些動作需要人工確認

這些都更像系統工程,而不是單輪問答。

所以工具和 Agent 的存在,不是在替代模型,而是在承認模型的邊界。

一句話概括:

模型負責理解、規劃和生成;工具負責訪問世界、執行動作和返回確定性結果。


三、Function Calling 到底怎麼工作:本質是“給模型一個受限動作空間”

很多平臺把 Function Calling 講成一個 API 能力,但從機制上看,它更像是:

你把一組允許動作,以 schema 的形式顯式告訴模型。

1)工具定義通常至少包含三類信息

一個可用的工具描述,至少要說清楚:

  • 工具名稱
  • 工具用途說明
  • 參數結構與字段約束

比如一個搜索工具,不能只寫:

  • search(query)

更好的描述通常會補清:

  • 這個工具適合查實時信息
  • query 應該是具體問題而不是空泛主題
  • top_k 的取值範圍是什麼
  • 什麼情況下不應該調用它

因為模型不是編譯器。

它是否會選對工具、填對參數,很大程度取決於你給的描述是不是足夠可判別。

2)schema 設計越模糊,模型越容易“看起來懂了,實際上亂調”

最常見的問題包括:

  • 字段名太抽象,模型不知道該填什麼
  • 多個工具功能重疊,模型難以區分
  • 參數可選項過多,模型容易臆造值
  • 描述裡沒有反例,模型不知道什麼時候不該調

比如:

  • action_type
  • data
  • options

這種字段名從工程師角度覺得通用,但從模型角度很難判斷語義邊界。

通常更好的 schema 原則是:

  • 字段名儘量語義明確
  • 枚舉值儘量少且邊界清晰
  • 必填參數要少而關鍵
  • 描述中寫清適用場景和禁用場景

3)Function Calling 不是“保證正確調用”,只是提高調用可控性

這裡要避免一個誤解。

很多人以為只要開了 Function Calling,模型就會像一個嚴格遵循類型系統的程序。

事實並不是。

模型仍然可能:

  • 選錯工具
  • 漏填參數
  • 生成不合法枚舉
  • 在該直接回答時硬調工具
  • 在該調工具時假裝自己知道答案

所以 Function Calling 更像是:

把原本完全自由的文本輸出,壓縮到了一個更容易校驗、更容易拒絕、更容易重試的空間。

這已經很重要,但還不等於“問題解決了”。


四、Tool Use 的完整鏈路:不是模型輸出完就結束,而是進入一個可失敗的執行系統

一旦開始真的調工具,系統就從“生成問題”進入“執行問題”。

一條典型鏈路通常長這樣:

  1. 用戶提出目標
  2. 模型判斷是否需要工具
  3. 模型輸出工具名和參數
  4. 系統校驗參數合法性
  5. 執行器發起實際調用
  6. 工具返回結果或錯誤
  7. 系統把結果壓縮成 observation 回給模型
  8. 模型決定結束、追問、改參數或繼續調用其他工具

這條鏈路裡,幾乎每一層都可能出錯。

1)參數校驗是第一道閘門

別直接把模型生成的參數無腦交給執行器。

至少要做:

  • 類型校驗
  • 必填字段檢查
  • 枚舉值檢查
  • 長度與範圍限制
  • 危險字符過濾
  • 權限相關校驗

因為模型生成的是“高概率文本”,不是天然可信輸入。

2)執行器和模型要解耦

一個很重要的工程原則是:

模型負責提出動作,執行器負責真正落地動作。

不要讓模型自己擁有無限制執行權。

更穩妥的架構通常是:

  • 模型只能請求工具
  • 工具白名單由系統控制
  • 執行器做權限檢查、超時、審計、重試
  • 某些高風險動作必須人工確認

這樣做的好處是,模型即使判斷錯了,也不會直接越過系統邊界。

3)返回結果必須做“觀察壓縮”

工具結果不是越原始越好。

如果你把大量 HTML、JSON、日誌全文、不相關字段原封不動塞回上下文,很容易出問題:

  • 上下文膨脹
  • 干擾模型判斷
  • token 成本飆升
  • 重要信息被淹沒

更好的做法通常是:

  • 只保留必要字段
  • 明確標註狀態:成功、失敗、空結果
  • 對長結果做截斷和摘要
  • 保留關鍵證據而不是全部噪音

Observation 的質量,會直接影響 Agent 下一步判斷質量。


五、Agent 為什麼容易“看起來很強,實際上很脆”

很多 Agent demo 的問題,不是第一步不會,而是第二步以後開始失控。

這正是多步系統的典型風險。

1)一步錯誤,可能在後續步驟被放大

比如模型第一步把用戶需求理解錯了。

在單輪問答裡,後果可能只是答案偏一點。

但在 Agent 裡,錯誤會繼續傳播:

  • 選錯工具
  • 查詢錯對象
  • 得到錯誤 observation
  • 基於錯誤 observation 再規劃下一步
  • 最後形成一本正經但方向完全錯誤的結果

所以 Agent 最難的不是“能不能開始”,而是誤差會不會連鎖擴散。

2)自由規劃越強,行為越難預測

讓模型自由選擇工具、自由拆任務、自由決定何時結束,看起來更智能。

但代價是:

  • 行為穩定性下降
  • 成本更難控
  • 線上問題更難復現
  • 安全邊界更難驗證

因此生產上很少是“純自由 Agent”。

更常見的做法是:

  • 有限工具集
  • 有限步數
  • 明確終止條件
  • 對高風險動作加審批
  • 對關鍵鏈路做半結構化流程編排

3)Agent 的瓶頸常常不是模型能力,而是上下文管理

多步循環以後,上下文會迅速膨脹。

問題包括:

  • 歷史 observation 越來越長
  • 早期關鍵約束被後續內容沖淡
  • 模型開始遺忘初始目標
  • token 成本不斷累積

所以成熟系統通常不會無腦把全量過程一直塞在上下文裡。

而是會做:

  • 中間狀態結構化存儲
  • 歷史步驟摘要化
  • 關鍵約束單獨保留在 scratchpad 之外
  • 對 observation 做窗口裁剪

Agent 的穩定性,很大程度取決於你如何管理上下文,而不是隻取決於底座模型多強。


六、最關鍵的幾個參數,到底該怎麼理解

下面把工程裡最常見、也最容易被誤用的一批參數拆開講。

1)tool_choice:讓模型自由選,還是強制用某個工具

它本質上控制的是:

  • 是否允許模型自己決定要不要調用工具
  • 是否要求模型必須調用指定工具
  • 是否禁止工具調用,直接自然語言回答

適用建議:

  • 開放問答場景:可讓模型自由選擇,但要有兜底規則
  • 確定流程場景:強制指定工具更穩
  • 測試/評估場景:固定工具選擇更容易對比

如果某個步驟理論上就必須查數據庫,那就別讓模型“思考是否要查”。

直接強制調用通常更穩。

2)temperature:在 Agent 裡通常比聊天更應該保守

在一般聊天裡,稍高一點的隨機性可能更自然。

但在工具調用和 Agent 任務裡,溫度過高通常意味著:

  • 工具選擇更飄
  • 參數填充更不穩定
  • 多步鏈路更難復現
  • 同一任務重複執行結果差異更大

經驗上:

  • 結構化輸出、檢索、數據庫查詢、代碼執行前的規劃,溫度通常應偏低
  • 只有在創意生成、候選方案發散時,才適合適度提高

別把 Agent 當成創作模型來配採樣參數。

3)max_steps:它不是隨便設的保險絲,而是成本與風險閥門

這是 Agent 系統裡最重要的保護參數之一。

它控制的是:

  • 一個任務最多允許多少輪“思考—行動—觀察”循環

值太小:

  • 合法複雜任務做不完

值太大:

  • 容易死循環
  • 成本失控
  • 失敗被拖很久才暴露

比較實用的思路是:

  • 簡單任務給小步數
  • 複雜任務按任務模板給不同上限
  • 接近上限時觸發總結或交還人工

max_steps 本質上是 Agent 的預算參數,不是可有可無的默認值。

4)超時參數:必須區分模型超時、工具超時、總任務超時

很多系統只有一個統一 timeout,這通常不夠。

更合理的拆法是:

  • 單次模型生成超時
  • 單次工具執行超時
  • 整個任務總超時
  • 排隊等待超時

因為這四種超時背後的原因不同:

  • 模型慢,可能是上下文過長或服務擁堵
  • 工具慢,可能是外部 API 或網絡問題
  • 總任務慢,可能是循環過多
  • 排隊超時,可能是系統容量問題

只有拆開,你才知道該優化哪一層。

5)重試參數:不是所有失敗都該重試

重試看起來很合理,但在 Agent 裡尤其危險。

因為一次失敗重試,可能觸發:

  • 更多 token 消耗
  • 更多外部 API 調用
  • 更長任務鏈路
  • 重複副作用

應該區分:

  • 可重試錯誤:臨時超時、短暫網絡錯誤、限流
  • 不可重試錯誤:參數非法、權限不足、業務約束不滿足

並且要配:

  • 最大重試次數
  • 指數退避
  • 冪等設計
  • 對有副作用操作加去重鍵

否則 Agent 很容易把一個瞬時異常放大成連環調用事故。

6)觀察窗口與上下文裁剪參數:決定 Agent 會不會“越做越糊塗”

很多框架喜歡把完整過程塞回上下文。

短期看方便,長期看風險大。

需要明確控制:

  • 保留最近幾步 observation
  • 歷史步驟何時摘要化
  • 哪些系統約束要常駐上下文
  • 哪些中間結果只放外部狀態,不回灌模型

這個參數組,常常比“換更強模型”更影響系統穩定性。


七、生產裡真正重要的,不是讓 Agent 更自由,而是讓它更可控

很多團隊剛做 Agent 時,目標是“儘可能像人一樣自主”。

但一到生產,優先級就會變成另外四件事:

  • 可預測
  • 可審計
  • 可回放
  • 可止損

1)工具白名單和權限分級必須做

不是所有工具都應該暴露給同一個 Agent。

更安全的設計通常是:

  • 只暴露任務所需最小工具集
  • 讀操作和寫操作分開
  • 外部副作用工具單獨審批
  • 按用戶身份、租戶、環境做權限切分

一個能調用十個工具的 Agent,不一定比一個只會調兩個工具的 Agent 更好。

它可能只是更危險。

2)高風險動作要有人類確認節點

例如:

  • 發郵件
  • 下單
  • 刪除數據
  • 修改數據庫
  • 執行生產命令
  • 對外發送消息

這些動作不應該只因為模型“很有把握”就直接執行。

更穩妥的模式是:

  • 先生成行動建議
  • 明確展示將調用的工具和參數
  • 等待人工確認
  • 再執行

這會犧牲一點流暢性,但能換來可控性。

3)日誌與軌跡必須能回放

Agent 系統出了問題,如果你只能看到“最終回答錯了”,基本是排不動的。

至少要能回放:

  • 每一步 prompt 或系統狀態
  • 每一步工具選擇
  • 參數內容
  • observation 內容
  • 錯誤類型
  • 總步數、總 token、總耗時

否則你根本不知道問題出在:

  • 模型判斷錯
  • schema 不清晰
  • 工具返回髒數據
  • 裁剪策略把關鍵信息截掉了
  • 超時和重試策略互相打架

4)要有明確終止條件,而不是“直到模型說結束”

終止條件最好是多重的:

  • 達到目標
  • 達到最大步數
  • 達到總超時
  • 達到成本預算
  • 連續若干步沒有有效進展
  • 連續重複同一工具調用

如果終止條件只有“模型自己決定結束”,那系統遲早會遇到無限循環或偽完成。


八、什麼時候該上 Agent,什麼時候其實不需要 Agent

這是一個很實用的問題。

因為很多任務被包裝成 Agent,其實只是流程沒有設計好。

適合 Agent 的場景

通常有這幾個特徵:

  • 任務路徑不固定
  • 需要根據中間結果動態決策
  • 可能涉及多個工具協作
  • 需要多步搜索、篩選、驗證
  • 人工事先難以寫死全部流程

比如:

  • 多源信息檢索與交叉驗證
  • 複雜報表分析
  • 瀏覽器任務自動化
  • 代碼庫定位問題並嘗試修復
  • 需要探索式完成的開放任務

不適合 Agent 的場景

如果流程本來就很確定,其實更適合工作流而不是 Agent。

例如:

  • 查數據庫 → 填模板 → 返回結果
  • 固定字段抽取 → JSON 輸出
  • 固定 API 查詢 → 結果整形
  • 審批通過後執行一個確定動作

這類任務用編排式 workflow 往往更穩、更便宜、更容易調試。

一個很實用的判斷標準是:

如果你能把流程規則穩定寫清楚,就優先寫流程;只有當中間決策真的不可預定義時,再引入 Agent。


九、一個更接近現實的 Agent 系統,通常長什麼樣

如果把一個相對成熟的 Agent 系統抽象一下,常見結構會是:

  • 任務入口層:接收用戶目標,做身份與權限校驗
  • 規劃/決策層:決定下一步是回答、調用工具還是繼續搜索
  • 工具執行層:白名單工具、參數校驗、權限控制、超時與重試
  • 狀態管理層:保存任務狀態、中間結果、歷史摘要、預算消耗
  • 觀測與審計層:日誌、軌跡、指標、告警、回放
  • 人工接管層:高風險動作確認、失敗兜底、人工糾偏

在這個結構裡,底座模型只是中間的一部分。

真正決定 Agent 能否進入生產的,不只是模型是否足夠聰明,而是:

  • 工具邊界有沒有收好
  • 狀態有沒有管理好
  • 錯誤有沒有隔離好
  • 成本有沒有預算好
  • 人有沒有辦法及時接管

十、三條最實用的落地建議

如果你準備把 Function Calling 或 Agent 接到真實業務裡,我最建議先做好下面三件事。

建議一:先從“單工具閉環”做起,不要一開始就追求通用 Agent

先把一個明確任務跑穩:

  • 什麼時候調用
  • 參數怎麼生成
  • 返回結果怎麼壓縮
  • 失敗怎麼處理

等單工具閉環穩定後,再擴到多工具協作。

這比一開始堆十幾個工具、追求“全能代理”靠譜得多。

建議二:把 schema 設計當成產品設計,而不是順手寫個 JSON

工具名、參數名、字段描述、枚舉值、適用邊界,都會直接影響模型行為。

很多所謂“模型不會調工具”,本質上其實是 schema 寫得太差。

建議三:優先把預算和終止條件做嚴,再追求智能感

先控制好:

  • 最大步數
  • 總超時
  • 工具超時
  • 重試上限
  • 可用工具範圍
  • 高風險動作審批

把系統先做穩,再考慮讓 Agent 更自由。

生產系統裡,“可控的 80 分”通常比“偶爾驚豔、偶爾翻車的 95 分”更有價值。


十一、最後總結:Agent 不是一個 API 功能,而是一種把模型接入環境的系統設計

很多人第一次接觸 Function Calling 和 Agent,會覺得這只是模型廠商加的幾個新字段。

但如果從工程角度看,真正變化很大。

因為從這一刻起,模型不再只是回答問題,而是在:

  • 理解目標
  • 選擇動作
  • 調用工具
  • 讀取反饋
  • 在多步循環裡持續決策

所以這篇最核心的結論可以濃縮成一句話:

Function Calling 解決的是“怎麼結構化提出調用請求”,Tool Use 解決的是“怎麼形成執行閉環”,Agent 解決的是“怎麼在多步環境裡持續做決策”。

而生產裡的關鍵,從來不是把 Agent 做得多像人,而是把它做得:

  • 有邊界
  • 有預算
  • 有審計
  • 有終止條件
  • 出錯後能止損

如果這些都沒有,Agent 往往只是一個更貴、更難排障的 prompt 套殼系統。

如果這些都做好了,模型才真正有機會從“會說話”走向“會做事”。

接下來按這條主線繼續往後推進,一個很自然的問題就是:

為什麼很多業務最後都會走向 RAG,而不是隻靠 Agent 或更大參數模型來補知識盲區?

那會把話題進一步推進到“知識接入”和“檢索增強”的工程層面。