2026 年 11 月 19 日,Google Gemini 應用產品組經理 Michael Friedman 發表官方博客《Let Gemini tackle repetitive chores on your Mac》,宣布在 Mac 版 Gemini 桌面客戶端(gemini.google/mac)推出 Computer Use 後台操作功能。藉助該功能,用戶只需用自然語言描述多步驟任務,Gemini 即可在獨立的虛擬背景視窗中自動點擊、輸入文本、捲動頁面並操作選單,跨本機資料夾、原生桌面軟件與瀏覽器完成重複性工作,而不會搶佔用戶的主螢幕畫面或滑鼠游標。

獨立後台視窗運行機制與四類官方實測場景

不佔主螢幕與游標,對話框內即時監看:根據幫助中心技術說明,當用戶向 Gemini 下達桌面操作指令時(在對話輸入框下方點擊 Task 並提及 @Computer use),系統會將操作轉移至一個隔離的虛擬螢幕(virtual screen)中執行,同時在對話介面內提供即時預覽視窗(支援全螢幕檢視或隨時點擊 Stop task 終止)。用戶在此期間可以繼續在主螢幕上打字、修圖或參加視訊會議。官方列舉的典型用例包括在設計軟件中批量調色照片與搭建 3D 場景、從本機 PDF 提取重量尺寸和地址填寫多箱物流報價單、跨多區域即時數據看板抓取指標與截圖生成 Google Slides 簡報,以及分析本機資料夾中的衣物照片並自動在轉售平台建立商品草稿。

圖 1 Mac 版 Gemini 後台操作(Computer Use)硬體要求、權限管控與訂閱口徑對照
圖 1 Mac 版 Gemini 後台操作(Computer Use)硬體要求、權限管控與訂閱口徑對照

圖片來源:DigIntoAI 根據 Google 官方博客及 Gemini 應用幫助中心文檔整理製作。

應用存取白名單、按需檔案備份與訂閱口徑核查

系統權限門檻與細粒度應用限制:開啟該功能需先打開 Gemini 桌面端設定(Cmd + ,),進入 Computer use 側邊欄開啟 Allow Gemini to work with your Mac,並授予 macOS 系統的「輔助使用(Accessibility)」與「螢幕與系統音訊錄製(Screen & System Audio Recording)」權限。用戶可在設定頁提前設定 Blocked apps(禁止存取的應用列表)與 Allowed apps(免確認白名單);在具體任務對話中首次呼叫某款應用時,也可按單次需求選擇拒絕、僅允許一次或始終允許,且所有關鍵或敏感動作在執行前均會請求用戶批准。此外,開啟 Use on-demand file backups 後,Gemini 會在修改檔案前嘗試建立保留 24 小時(或至下一條提示詞前)的臨時副本供隨時檢視恢復。

適用條件與訂閱套餐口徑細節:當前該功能僅面向美國(U.S.)英語環境逐步推出,要求配備 Apple Silicon 晶片的 Mac 電腦且系統為 macOS Sequoia 15.0 及以上版本,並需使用 18 歲以上個人 Google 賬號登入(暫不支援企業或教育工作區賬號,幫助頁建議搭配 Gemini 4 Hydrogen 或更新模型使用)。在訂閱套餐口徑上,刊出博客腳註明確列出面向 Google AI Plus、Pro 與 Ultra 用戶開放;雖然幫助中心早期版本曾僅列 Pro 與 Ultra 引發部分用戶疑惑,但目前最新幫助頁已同步列明 Gemini AI Ultra、Google AI Pro 或 Google AI Plus 訂閱均符合資格。同時幫助中心也坦承了桌面級代理的潛在風險,提醒用戶 Gemini 可存取原生應用內已登入的賬號會話及螢幕上可見的多重身份驗證(MFA)驗證碼,若授予程式碼編輯器或開發工具權限則可能觸發 Shell 執行或更廣泛的檔案系統改動。