2026 年 11 月 19 日,Google Gemini API 產品經理 Lucia Loher 與 Google DeepMind 研究科學家 Nora Kassner 聯合刊文,宣布在 Interactions API 中正式開放工具按需載入(Tool Retrieval)預覽功能。當智能體接入數十甚至數百個函數或外部工具時,傳統做法每次請求都要把全部工具的完整 JSON 參數定義塞進提示詞,不僅推高輸入 token 賬單與首字延遲,還會隨著候選列表膨脹降低模型的工具選擇準確率。Tool Retrieval 允許開發者將長尾工具置於待命狀態,僅在當前任務實際需要時才拉取對應參數結構。
伺服端與客戶端雙模式設定,同步支援遠端 MCP 伺服器
僅保留工具名稱與描述,參數定義(Schema)同請求按需載入:在伺服端預設檢索模式下,開發者只需在 Interactions API 請求的 tools 列表中加入 type 為 tool_search 的聲明,並在希望延遲載入的函數定義上添加 defer_loading: true 標記即可,無需自建向量索引或託管檢索服務。啟用後,所有延遲工具的 name 與 description 仍會留在初始上下文中,讓模型知道有哪些工具可用,但佔體積最大的 parameters 參數定義不會進入初始提示詞;當模型判斷需要呼叫某項工具時,會在同一次 API 請求內部自動發出 tool_search_call、接收返回的 tool_search_result 參數定義並緊接著生成 function_call,全鏈路步驟均可在 interaction.steps 中回溯除錯。
遠端 MCP 一鍵延遲載入與客戶端自訂檢索:該機制同樣原生支援 Gemini API 中的遠端 MCP 伺服器——只需在 mcp_server 工具聲明上設定 defer_loading: true,該伺服器暴露的所有工具都會轉為按需載入,無需開發者逐一手動列舉。如果團隊維護了內部工具註冊中心、自有嵌入索引或按用戶隔離的權限過濾器,也可在 tool_search 中設定 execution: client 自訂檢索函數;客戶端模式下,模型無需在首輪預先聲明工具,支援在用戶中途授權新整合後動態暴露工具(但每次客戶端檢索會額外增加一次請求往返)。目前 Tool Retrieval 適用於 Interactions API 中的 Gemini 3.6 及更新型號,涵蓋全部 Gemini 4 系列模型。

圖片來源:DigIntoAI 根據 Google 官方博客及 Google AI Studio 更新日誌整理製作。
到底什麼時候能省 Token?計價機制與前綴快取實戰權衡
無額外功能費,但固定檢索開銷與已載入參數均按標準 Token 計價:官方明確說明,Tool Retrieval 本身不單獨收取功能附加費,所有輸入與輸出 token 均按所呼叫模型的標準價格結算。但開發者在計算成本時必須注意兩項固定與增量開銷:第一,開啟 tool_search 會在輸入端增加一小段固定的系統與檢索說明 token;第二,一旦模型在對話中檢索並載入某個工具的完整參數定義,該參數定義就會留在後續多輪對話的上下文中,並持續按輸入 token 計價(與一開始直接聲明該工具的後續計價方式相同)。因此,只有在「單次任務跳過的長尾工具參數 token 總量」明顯大於「tool_search 固定開銷 + 實際載入的工具參數體積」時,這項功能才會真正省錢;如果智能體總共只有幾個簡單工具且每輪都會用到,開啟按需載入反而會多花 token。
高頻常駐 + 長尾延遲,兼顧前綴快取(Prefix Caching):在工程落地層面,官方建議將高頻核心工具保持預設常駐載入(不設 defer_loading),僅對長尾工具集或工具數量龐大的遠端 MCP 伺服器開啟按需載入。同時,由於延遲載入的參數定義不會改動 Prompt 開頭的固定系統提示與高頻工具區,而是追加在對話後段,因此能夠完整保留跨輪次的前綴快取(Prefix Caching)命中率,進一步降低長對話的輸入成本。
