繼今天發布 Gemini 自動化之後，Google詳細介紹了它在 Android 下的工作原理。
谷歌正在推出“早期開發人員功能，以彌合您的應用程式和應用程式代理以及 Google Gemini 等個性化助理之間的差距。”
雖然我們正處於這段旅程的早期測試階段，但我們在設計這些功能時考慮到了隱私和安全，作為探索應用生態系統範式轉移的第一步。
應用功能
Android 有兩種方法，首先是 AppFunctions。它是去年悄悄宣布的，現在才完全詳細。
應用功能 這是 Android 16 平台和隨附的 Jetpack 庫的一項功能，允許應用程式向呼叫者公開特定功能，例如代理應用程序，以在設備上存取和運行。
開發人員將其應用程式的功能定義為代理和人工智慧助理（例如 Gemini）可以使用的工具。 Google 將 AppFunctions 與流行的模型上下文協定 (MCP) 配對，用於代理和伺服器端工具。然而，這些功能發生在 Android 裝置本地。用例是：
- 工作管理和生產力
- 用戶請求：「記得今天下午 5 點上班去拿包裹」。
- 應用程式功能操作：呼叫者識別適當的任務管理應用程式並呼叫函數來建立任務，根據使用者的請求自動填寫標題、時間和位置欄位。
- 媒體和娛樂
- 用戶請求：「建立包含今年頂級爵士樂專輯的新播放列表」。
- 應用程式功能操作：呼叫者在音樂應用程式中執行播放清單建立功能，傳遞諸如「2026 年頂級爵士樂專輯」之類的上下文作為查詢，以立即建立和啟動內容。
- 應用程式之間的工作流程
- 用戶請求：「從麗莎的電子郵件中找到麵條食譜，並將食材添加到我的購物清單中」。
- 應用程式功能操作：此應用程式使用多個應用程式的功能。首先，呼叫者使用電子郵件應用程式的搜尋功能來檢索內容。然後，它提取相關元件並調用購物清單應用程式中的函數來填入使用者的清單。
- 日曆和編程
- 用戶請求：「將媽媽的生日派對加入我的行事曆中，時間為下週一下午 6 點」。
- 應用程式功能操作：支援的應用程式代理程式呼叫日曆應用程式的“建立事件”功能，尋找適當的上下文，例如“下週一”和“6:00”，而不需要使用者手動開啟日曆來建立條目。
以下是在 Galaxy S26 上使用 Samsung Gallery 應用程式的 AppFunctions 範例。它也適用於運行 OneUI 8.5 及更高版本的三星設備。
您可以要求 Gemini“顯示三星圖庫中的我的貓照片”，而不是手動滾動相簿。 Gemini 接受用戶的查詢，智慧識別並啟動相應的功能，並直接在 Gemini 應用程式中呈現來自三星圖庫的翻譯照片，因此用戶永遠不必離開。這種體驗是多模式的，可以透過語音或文字來完成。用戶還可以在後續對話中使用翻譯後的照片，例如透過簡訊將其發送給朋友。
同時，Google表示，Gemini 應用程式正在使用 AppFunctions 來支援其在Google應用程式和預設 OEM 中的日曆、便箋和任務整合。
使用者介面自動化
Android 也正在研究第二種方法，即今天早上宣布的 Galaxy S26 和 Pixel 10 系列的 Gemini 自動化。
雖然 AppFunctions 為應用程式與 AI 代理程式和助理進行通訊提供了一個結構化框架和更多控制，但我們知道並非所有互動都具有專用整合。
谷歌正在“為人工智能代理和助手開發一個 UI 自動化框架，以智能地執行用戶安裝的應用程式中的通用任務。”
這是一個承擔繁重任務的平台，允許開發人員以零程式碼實現操作範圍。如果沒有重大的工程提升，現在擴大他們的影響力只是一個小小的努力。
谷歌表示，Android 17 將「擴展這些功能，以覆蓋更多用戶、開發者和設備製造商」。
我們目前正在與一小部分應用程式開發人員一起建立體驗，隨著生態系統的發展，重點關注高品質的用戶體驗。今年晚些時候，我們計劃分享有關如何使用 AppFunctions 和 UI 自動化為您的應用程式啟用整合代理的更多詳細資訊。請繼續關注更新。
FTC：我們使用附屬連結來賺取收入。 更多的
