AI 科普 AI-03

AI-03

工具调用(Tool Calling)

  • 工具调用
  • Tool Calling

面试在问什么

「模型会选函数」只是起点。面试官真正追问的是:参数怎么校验,失败了怎么办,重试会不会重复写入,模型用的是谁的权限,哪些动作可以自动跑、哪些必须等人。

这些问题后端工程师都处理过,只是调用方从前端变成了模型。把模型当成一个不可信的客户端,大部分答案就清楚了。

定义

工具调用(Tool Calling),也叫函数调用(Function Calling):模型需要外部数据或动作时,不直接写答案,而是输出一份结构化请求,包含工具名和参数。真正执行的是你的程序。程序把结果交回,模型再决定继续调用,还是回复用户。

模型输出的 JSON 本身什么也没做。中间那段执行由你控制,校验、鉴权、重试、日志都在这里。

和 RAG 的区别:RAG 的顺序是固定的,先检索再生成;工具调用由模型决定要不要调、调哪个、传什么参数。检索也可以包成一个工具。经验法则:文档内容走 RAG,系统里的实时状态和写操作走工具。

为什么需要

  • 会变的数据:理赔进度、余额、库存,训练时不存在,也不该靠训练更新。
  • 私有系统:数据在内部接口后面,需要一次受权限约束的读取。
  • 副作用:开工单、发通知、下单。模型说「已提交」不会产生工单号,工单号只能来自真正写入的系统。
  • 确定性计算:日期差、税额、汇率。语言模型能把算式说得很顺,得数仍可能错。

一次调用的循环

可用工具清单 + 对话
        ↓
模型:零个或多个调用请求(工具名 + 参数)
        ↓
应用:Schema 校验 → 鉴权 → 执行或拒绝 → 结果或错误原文
        ↓
结果追加进对话,再交给模型
        ↓
模型:继续调用,或写出给用户的回答
        ↑__________________________|
  • 有依赖的步骤分轮执行:先查到保单号,再用保单号查进度。
  • 独立的查询可以在一次回复里并行发出,省来回,但写操作并行前必须有幂等保护。
  • 轮数要设上限。到上限就停下,说明还没拿到结果,不让模型自由发挥一段像结论的话。

接口形态上,OpenAI 2023 年在对话接口里推出 function calling,后来统一成 tools;Anthropic 的 Messages API 有 tool use。各家都用 JSON Schema 描述参数。Anthropic 2024 年底发布的 MCP(Model Context Protocol)把工具、资源和提示接给宿主应用的方式做成了开放协议。协议换了,下面这些工程规则不变。

工具定义:描述和 Schema

模型只能读到工具描述,按它来决定调不调。写清楚三件事:什么时候用,每个参数什么意思,什么时候不能用。

名称:get_claim_status
做什么:按保单号读取理赔进度。只读,不修改任何状态。
何时用:用户问对话里已出现的某张保单走到哪一步。
何时不用:解释保障范围、估算赔付金额、催办或改状态;保单号还没出现。
参数:policy_id,字符串,必填,格式 P-数字。不要用客户姓名去猜保单号。
失败时:返回错误原文。没有 status 字段就不要报告进度。

参数 Schema 尽量收紧:

  • required 写全,enum 限定状态取值,pattern 限定编号格式;
  • additionalProperties: false,不接受模型多塞的字段;
  • 能用 strict 模式(如 OpenAI 的 Structured Outputs)就用,格式错误会少很多。形状保证到哪一层、值为什么仍可能是编的,见 结构化输出。

对应的参数定义大致是:

{
  "type": "object",
  "properties": {
    "policy_id": {
      "type": "string",
      "pattern": "^P-[0-9]+$",
      "description": "保单号,必须是对话里已出现的号码"
    }
  },
  "required": ["policy_id"],
  "additionalProperties": false
}

description 也是写给模型看的,要和工具描述一致。工具多了以后,名字和描述互相打架,模型就会选错工具。一个场景挂十几个工具时,先检查有没有两个工具的「何时用」重叠。

一个工具只做一件事。读和写拆成两个工具,权限和确认规则才能分开配。

校验:Schema 只管形状

合法的 JSON 仍可能指向别人的保单。服务端要再做业务校验:

  • 这个编号存在吗?
  • 它属于当前客户吗?当前柜员有权查吗?
  • 金额、日期在合理范围内吗?

校验失败,把错误原文交回模型,让它向用户确认或说明查不到。不要替模型把参数「修正」成一个差不多的值再执行。这和后端不信任前端传参是同一个道理。

幂等、重试、超时

写接口最容易出事。模型可能重复发同一个调用,网络超时后应用也会重试。

  • 幂等键由应用生成,不由模型生成。例如用「会话 ID + 动作 + 业务主键」,同一键的重复请求返回第一次的结果,不再写一笔。思路和支付接口防重复扣款、消息队列至少一次投递后的去重一样。
  • 分清可重试和不可重试:超时、429、503 可以退避加抖动后重试;400、403 重试没用,直接交回错误。
  • 读接口:短超时,有限次重试。
  • 写接口:没有幂等键就不重试。重试耗尽,把失败原文交回模型。
  • 下游不稳时加熔断,别让模型在循环里反复打一个已经挂了的服务。

最危险的是应用层吞掉错误。工具报错后,程序回给模型一句空结果或「请根据常识回答」,模型就会用记忆把进度补完。日志里有一次调用,答案却不是那次调用的结果。

鉴权与最小权限

  • 工具用调用者本人的身份执行(on-behalf-of),不用一把能查全库的服务账号。模型能碰到的权限,就是这段对话能泄露的范围。
  • 每个工具只给完成任务所需的最小权限:只读工具拿只读凭证。
  • 高风险写操作(退款、改状态、对外发送)在程序里加确认步骤,不靠提示词里的「请谨慎」。怎样把确认做成可暂停、可恢复的流程,见 人工在环。
  • 工具返回的内容是数据,不是指令。网页、邮件、工单正文里可能藏着「忽略之前的指令」这类提示注入,不能让它触发新的写操作。见 提示注入。

失败要看得见

你看到的实际发生了什么正确做法
参数校验失败缺字段、类型错、取值越界把错误交回,不悄悄改参数
超时或 5xx系统没给出这次的状态说这次没查到,不补「一般三个工作日」
模型说查过了,但没有调用记录模型在演涉及状态的回答必须对应一次成功调用
调用成功,回答没用上结果句子来自记忆状态、编号、日期必须能在返回里找到
同一写入出现两次重试或并行没有幂等加幂等键

每次调用记下工具名、参数、耗时、结果或错误,并带上会话 trace id。事后才分得清问题出在接口、提示词还是模型。

一个柜面例子

虚构的香港保险公司。客户问:「保单 P-18442 理赔到哪了?」柜员把问题交给助手,助手只有上面那个只读工具,凭证是这位柜员的权限。

模型发出:

{"name": "get_claim_status", "arguments": {"policy_id": "P-18442"}}

程序校验格式和权限后调用理赔接口,得到:

{
  "policy_id": "P-18442",
  "claim_id": "CLM-90211",
  "status": "waiting_documents",
  "missing": ["医疗收据正本"],
  "updated_at": "2026-11-04"
}

回答只能用这些字段:「这单在等医疗收据正本,理赔编号 CLM-90211,进度更新于 2026-11-04。」不加「这周应该能批」,接口没给批复日期。

接口超时,就说系统这次没返回进度。客户接着问「牙科赔不赔」,那是条款问题,走 RAG 或另一个条款工具,不是再查一次进度。

自动和等人的分界线:

动作处理
读进度、读条款自动执行;失败原文交回
记录缺件、催办柜员确认后写入,带幂等键
拒赔、改状态、承诺批复日期不自动执行;模型最多起草,人决定

换一类雇主

分界线跟着副作用和责任走:

  • AI 原生/产品公司:工具是产品功能,重点是工具描述的质量、调用成功率、评测和上线后的监控。
  • 大厂云与平台:帮客户把已有 API 接成工具,讲清鉴权模式、配额和限流,以及平台和客户各管哪一段。
  • 咨询与系统集成:要接很多老系统,接口不稳定,幂等、超时和审计日志要写进交付标准。
  • 甲方企业内部:最小权限和人工确认是硬要求;碰钱、碰客户承诺的动作默认要人点确认。

面试怎么说

"I treat the model as an untrusted client. Every tool has a tight JSON schema, and the server still validates business rules: does this policy exist, and can this user see it. Tools run with the caller's own permissions, and read and write are separate tools. Reads can run automatically. Writes need an idempotency key generated by the application, and risky ones wait for a human to confirm. Timeouts and errors go back to the model as they are, so it says 'I couldn't get the status' instead of guessing. Every call is logged with a trace ID, so I can tell whether a wrong answer came from the API, the prompt, or the model."

用后端经验类比(不可信客户端、幂等、熔断)最容易让面试官信服;用客户习惯的语言(粤语或普通话)讲清楚,用英文把结论写下来。

自测

  1. 保险柜面场景:查进度、记录缺件、自动拒赔,哪些可以自动跑、哪些必须等人?接口超时时,为什么不能回答「一般三个工作日就批」?
  2. 如果面试官来自 AI 原生公司,产品希望机器人直接帮用户提交订单,你会怎样设计这条写入链路?和甲方银行相比,哪里可以放宽,哪里不能?
参考答案

自测 1

查进度只读,可以自动跑,回答里的状态、编号、日期必须来自这次返回。记录缺件是写入,柜员确认后执行,用应用生成的幂等键防止重复。拒赔改变案件结论,不自动执行。

超时说明系统没给出这张保单的状态。「一般三个工作日」来自手册或模型记忆,不是 CLM-90211 的返回。把它说成进度,就是用记忆盖住失败。正确回答是这次没查到,并把超时原文留在日志里。

自测 2

链路:模型提议 → Schema 和业务校验(商品、价格、库存、用户身份)→ 给用户看订单摘要并确认 → 带幂等键调用下单接口 → 用接口返回的订单号回复。失败就如实告诉用户。

可以放宽的:用户自己确认就能提交,不需要内部员工审批;低金额、可撤销的操作可以减少确认步骤。

不能放宽的:参数和权限的服务端校验、幂等、失败可见、调用日志。要支付或不可撤销的动作仍需要用户明确确认。重点还要讲工具调用成功率和端到端的评测,这是 AI 原生公司关心的产品指标。

一句话总结

工具调用让模型先查或先算再开口,它不会让模型记住一切。 把模型当不可信客户端:收紧 Schema,服务端校验,最小权限,写入要幂等,失败要露出来。

这些规则不因接入方式改变。用 MCP 把工具接到宿主上时,协议本身不替你做校验和确认,见 模型上下文协议。

延伸观看

  1. GPT function calling in a nutshell — Henrik Kniberg 的短解说:模型先发出调用请求,你的程序执行后再交回结果。
  2. OpenAI Function Calling - Full Beginner Tutorial — Dave Ebbelaar 的专题短课:把 function calling 从请求到执行走一遍。

在 GitHub 上查看源文