2026 年 11 月 19 日,Google Gemini API 产品经理 Lucia Loher 与 Google DeepMind 研究科学家 Nora Kassner 联合发文,宣布在 Interactions API 中正式开放工具按需加载(Tool Retrieval)预览功能。当智能体接入数十甚至数百个函数或外部工具时,传统做法每次请求都要把全部工具的完整 JSON 参数定义塞进提示词,不仅推高输入 token 账单与首字延迟,还会随着候选列表膨胀降低模型的工具选择准确率。Tool Retrieval 允许开发者将长尾工具置于待命状态,仅在当前任务实际需要时才拉取对应参数结构。

服务端与客户端双模式配置,同步支持远程 MCP 服务器

仅保留工具名称与描述,参数定义(Schema)同请求按需加载:在服务端默认检索模式下,开发者只需在 Interactions API 请求的 tools 列表中加入 type 为 tool_search 的声明,并在希望延迟加载的函数定义上添加 defer_loading: true 标记即可,无需自建向量索引或托管检索服务。启用后,所有延迟工具的 name 与 description 仍会留在初始上下文中,让模型知道有哪些工具可用,但占体积最大的 parameters 参数定义不会进入初始提示词;当模型判断需要调用某项工具时,会在同一次 API 请求内部自动发出 tool_search_call、接收返回的 tool_search_result 参数定义并紧接着生成 function_call,全链路步骤均可在 interaction.steps 中回溯调试。

远程 MCP 一键延迟加载与客户端自定义检索:该机制同样原生支持 Gemini API 中的远程 MCP 服务器——只需在 mcp_server 工具声明上设置 defer_loading: true,该服务器暴露的所有工具都会转为按需加载,无需开发者逐一手动列举。如果团队维护了内部工具注册中心、自有嵌入索引或按用户隔离的权限过滤器,也可在 tool_search 中设置 execution: client 自定义检索函数;客户端模式下,模型无需在首轮预先声明工具,支持在用户中途授权新集成后动态暴露工具(但每次客户端检索会额外增加一次请求往返)。目前 Tool Retrieval 适用于 Interactions API 中的 Gemini 3.6 及更新型号,涵盖全部 Gemini 4 系列模型。

图 1 Gemini API 工具按需加载(Tool Retrieval)两种检索模式与 Token 计费临界点对照
图 1 Gemini API 工具按需加载(Tool Retrieval)两种检索模式与 Token 计费临界点对照

图片来源:DigIntoAI 根据 Google 官方博客及 Google AI Studio 更新日志整理制作。

到底什么时候能省 Token?计费机制与前缀缓存实战权衡

无额外功能费,但固定检索开销与已加载参数均按标准 Token 计费:官方明确说明,Tool Retrieval 本身不单独收取功能附加费,所有输入与输出 token 均按所调用模型的标准价格结算。但开发者在计算成本时必须注意两项固定与增量开销:第一,开启 tool_search 会在输入端增加一小段固定的系统与检索说明 token;第二,一旦模型在对话中检索并加载了某个工具的完整参数定义,该参数定义就会留在后续多轮对话的上下文中,并持续按输入 token 计费(与一开始直接声明该工具的后续计费方式相同)。因此,只有在「单次任务跳过的长尾工具参数 token 总量」明显大于「tool_search 固定开销 + 实际加载的工具参数体积」时,这项功能才会真正省钱;如果智能体总共只有几个简单工具且每轮都会用到,开启按需加载反而会多花 token。

高频常驻 + 长尾延迟,兼顾前缀缓存(Prefix Caching):在工程落地层面,官方建议将高频核心工具保持默认常驻加载(不设 defer_loading),仅对长尾工具集或工具数量庞大的远程 MCP 服务器开启按需加载。同时,由于延迟加载的参数定义不会改动 Prompt 开头的固定系统提示与高频工具区,而是追加在对话后段,因此能够完整保留跨轮次的前缀缓存(Prefix Caching)命中率,进一步降低长对话的输入成本。