- 日期：2026-10-29
- 读者：研究生、科研新人和工程型研究者
- 范围：三篇一手研究的证据对照；未运行模型实验，后续实验均为提议。
摘要：换一个工具，究竟换了什么？
模型在训练中学会查询天气，测试时能够调用陌生的航班接口，这看起来是迁移。但“陌生”可能只指接口名字没出现在微调集，也可能意味着参数单位、返回结构、执行条件都改变了。前一种成功不能直接回答后一种问题。
本文的判断是：**工具学习确实可以在限定协议下迁移，但调用代码、工具选择和执行效果是不同的证据对象。**API Pack展示新接口上的代码生成；ToolSense揭示检索成绩与工具知识探针之间的分离；PA-Tool说明固定模型也会因接口命名改变而表现不同。三篇论文并未构成简单的支持与反对阵营。我们需要追问：什么被固定，什么被改变，什么被评分？
从名字到效果，中间隔着几层能力
API是程序调用另一个程序的接口。工具模式，也称schema，是接口名称、参数、类型及描述构成的说明。工具语义则关乎调用的含义：需要什么前提，返回什么信息，会怎样改变环境。本文把“理解语义”操作化为一组可检验行为，不用它指代无法直接观测的内部体验。
以一个假设的温度工具为例：模型可能会填合法的结构化参数，却把华氏度当成摄氏度；可能正确选中传感器，却把“读取旧值”当成“立即测量”。这些不是本文执行结果，而是说明格式、选择、参数含义和状态效果可以分别出错。
至少有三种竞争解释。第一，模型学到了常见调用模板，看到类似描述便填入名称和参数。第二，它会利用当前文档建立局部对应关系，因而能处理新接口，但不一定能推断未写明的副作用。第三，它形成了可组合的操作规则，能根据前提与效果调整调用顺序。三者可能共存；任务成功本身通常不能识别各自贡献。
因此，“未见工具”必须注明相对于哪个训练阶段。微调数据隔离，并不保证预训练从未接触公开文档。换名也不等于换规则；反过来，换成生僻标识符造成失败，可能是读写和分词负担，而不只是语义能力消失。
新API上的代码生成，证明了多远的迁移？
API Pack把测试分成新指令、已知API的新端点、完全未见API三个层次；端点是接口中的具体操作。研究使用CodeLlama等起点模型进行微调，并比较不提供示例、随机示例和检索示例等提示设置。这个分层使“换一句问法”和“换接口”不再混为一谈。API Pack，§4。
但其正确性判定来自代码序列相似度，采用0.9的启发式阈值，并非运行接口后检查环境状态。论文也说明，数据处理使执行评测困难，任务未设计成多API组合，指令需要明确API名称。因此，它支持限定条件下的调用生成迁移，不能直接证明自主发现工具或掌握副作用。同文§4.2、§6。
这并不使结果失去价值。生成可用接口代码本来就是独立能力；问题在于给结论加上什么限定。检索示例带来外部信息，oracle设置还提供特殊的正确示例条件，不能把这类成绩描述成模型脱离文档独立掌握陌生工具。
本文进一步推断：若两个调用几乎一样，只差参数单位，字符串接近未必意味着任务正确；若两个程序写法不同而效果相同，字符串差异也未必意味着失败。这个逻辑说明为何需要执行层补证，并不声称上述基准已经出现某个未经核验的具体误判。
找得到工具，不等于能解释它
ToolSense研究的是参数化工具检索：把工具关联到特殊标识，再训练模型从查询输出标识。它分别测试查询变化、自由生成与受约束生成，以及工具属性问答。约束解码会把输出限制在合法标识路径上，帮助系统避免不存在的工具，但合法性不保证语义判断正确。ToolSense，§1—4。
在Gemma3-4B的TG配置中，论文报告第二阶段后的标准G1受约束检索成绩为95.7%，工具四选一探针为31.4%。前者是前50个结果至少命中一个标注工具的指标，后者是属性问答准确率；它们既不是同一任务，也不是执行成功率。探针仅给工具标识及问题，不直接提供完整说明。同文§3.2—3.3、表2与表4。
这里最值得保留的是测量分离，而不是“模型完全不懂工具”的口号。论文范围限于特定两阶段范式与工具目录；诊断集由模型生成并经抽样人工验证，端到端执行留作后续研究。同文Limitations。
还有一个可比性陷阱：新查询集改变的不只是措辞，也涉及歧义和目标工具数量。分布变化后的下降值得重视，却不能把全部损失都归因于“少了关键词”。知识探针失败也不等于所有知识都被抹除：它首先说明，在该问题形式与读出方式下，相关知识未被可靠表现出来。这是本文对证据强度的限定。
改名字也能改善表现，意味着什么？
PA-Tool提供另一种干预：固定模型，依据工具描述生成候选名称，再按候选之间的字符相似聚集程度选择名称。这个集中程度称为peakedness，作者把它作为模型熟悉命名习惯的代理。方法修改工具名和参数名，保留描述，并以映射连接原接口。PA-Tool，§3及Limitations。
结果支持命名是影响工具表现的因素，却不是处处获益。例如表4中，Llama3.2-3B在API-Bank的Call+Retrieve从10.9%降到9.2%；同表中的零售多轮任务则由4.5%升到5.6%。前者检查工具与参数匹配，后者检查任务完成，不能把两列当作同一把尺子。同文§6.6、表4、附录B。
这项结果同时约束两种过强解释。不能因为原接口失败，就断言模型毫无相关能力；也不能因为重命名成功，就断言模型已经获得新的操作知识。作者关于预训练熟悉度的解释有代理指标支撑，但不等于直接追踪了每个名称的预训练来源。研究还限定了英语模式，跨语言效果仍需另测。
本文更倾向把这看成“能力能否经接口表达出来”的问题。改善可访问性有实际价值，但若研究问题是语义迁移，就需要继续改变执行规则，而不是停在更好听、更常见的名称上。
把三种成绩放回各自的实验里
| 研究 | 改变与条件 | 能观察什么 | 不能据此断言 |
|---|---|---|---|
| API Pack | 微调后测试新接口，提示可含示例 | 调用代码的匹配表现 | 已会多工具执行 |
| ToolSense | 工具目录上的查询与解码条件变化 | 检索、标识生成和属性探针 | 所有智能体都不懂语义 |
| PA-Tool | 固定模型，改变工具及参数命名 | 接口表达对表现的影响 | 已掌握新操作规则 |
表格是本文的测量对象归纳。三者的模型起点、训练材料、推理过程和指标均不同，没有适合直接排序的统一分数。即使都叫“泛化”，新API、查询分布变化和接口改名也不是同一干预。
预算也要随结论记录。微调消耗训练资源，示例检索提供信息，候选名称生成需要额外调用。固定最终回答次数，并不能抹掉这些差异。若比较的是完整系统，成本可以整体计入；若比较的是学到什么，就应固定起点与可见信息，逐项隔离机制。论文间的差异应帮助定位缺口，而不是制造输赢。
下一步：让名称、规则和组合分别变化
图：固定模型，分别测试原接口、改名、改规则和新组合，再执行并检查状态。箭头表示拟议测试流程，不表示已证实的内部因果机制；本图无测量数据，实验尚未执行。
一个可行的小研究可以使用自建的离线工具环境，例如读写有限的物品清单。它不需要真实账户，也不需要把系统复杂度扩大到完整智能体平台。关键是提前写清工具前提、效果和判定程序，并在任务生成之前划分训练与测试规则。
第一组只改名。功能、说明内容和参数类型保持一致，把熟悉名称换成中性标识，同时提供完整映射；另设同等长度、正常可读的新名称对照。分别统计合法格式、正确工具和参数错误。这样才可能区分名称先验、读写负担与文档使用，而不是把任何下降都叫“记忆依赖”。
第二组保留名称，改变一条有明确文档的规则，例如把“追加条目”改为“替换条目”，或改变数值单位。文档必须同步更新，不能用错误说明制造无解任务。若模型仍按旧规则行动，才构成未能依据新语义调整的行为证据。还应设置显著提示变化的对照，排除只是漏读小字。
第三组使用分别见过的工具，组合成未见过的依赖关系。要求先取得有效标识再执行修改，并检查最终状态及禁止触及的状态。只看最终答案文字，会漏掉“宣称成功但没有执行”；只看一个目标字段，也会漏掉顺带破坏其他内容。判定规则应在看模型输出前冻结。
最后把执行反馈作为单独因素：一组仅读说明后作答，一组允许有限试调用并读取返回信息。记录每次尝试、错误消息和重试成本，区分首次迁移与交互适应。如果允许反复试错后才成功，结论应写“能够借助反馈学会”，不能写成首次就理解。
分析时采用同题配对，保留失败类型与重复运行的波动。若改名有效、改规则无效，支持接口熟悉度解释；若能随新规则稳定调整，并在新组合中保持正确，才增加语义使用的证据。即使如此，行为结果仍不足以唯一确定内部算法。研究价值来自排除具体替代解释，而非给“真正理解”发一张总证书。
总结：迁移需要一个明确的宾语
与其问工具学习能不能迁移，不如问：迁移的是调用格式、文档对应、属性知识，还是可执行规则？现有研究让我们看到部分迁移，也看到接口和测量条件的强烈影响。下一次读到新工具榜单成绩时，先寻找数据划分、可见文档、反馈预算和成功判据。只有这些边界明确，成功轨迹才能逐步成为关于能力的证据。
参考资料
检索与资料截止：2026-10-29。检索覆盖近12个月相关工作，并保留较早的API Pack；不声称全面覆盖。以下三篇为核心一手来源。两篇ACL系论文的发表身份已核对官方页面，因正式PDF访问失败，实验细节限定于明确标注的arXiv版本。
- Zhen Guo、Adriana Meza Soria、Wei Sun、Yikang Shen、Rameswar Panda. API Pack: A Massive Multi-Programming Language Dataset for API Call Generation. ICLR 2025。正式全文。
- Ashutosh Hathidara、Sai Shruthi Sistla、Sebastian Schreiber、Sahil Bansal. ToolSense: A Diagnostic Framework for Auditing Parametric Tool Knowledge in LLMs. Findings of EMNLP 2026。正式页面；深读版本：arXiv v2，2026-08-28。
- Jonggeun Lee、Woojung Song、Jongwook Han、Haesung Pyun、Yohan Jo. Don’t Adapt Small Language Models for Tools; Adapt Tool Schemas to the Models. ACL 2026。正式页面；深读版本：arXiv v3，2026-04-19。
作者作品推广
以下是作者自有产品推广。除了写技术博客，我也独立开发了一些让日常更有条理的小工具，欢迎了解：
- 日常收支小记：记录日常收支，安排预算和储蓄目标，让每一笔钱有清楚的去处。在 App Store 了解。
- 一事微光：根据当下的时间与精力选择小行动，记录完成后的感受，为日常行动与复盘留下一点线索。在 App Store 了解。
更多技术文章和个人作品，欢迎访问我的网站：zffjzz.top。