豆包支援螢幕自動化？為什麼應用程式紛紛拒絕授權

豆包支援螢幕自動化？位元組跳動旗下的「豆包手機助理」於 2026 年 10 月 14 日結束了其「螢幕自動化執行協定」（SAEP）為期三十天的公開徵求意見期，並啟動預設 opt-out（預設退出）政策，允許 AI 代理在未拒絕的第三方 Android 應用程式中自動化執行螢幕操作。然而，最初的 151 款應用程式名單隨後在 10 月 14 日更新為 153 款，正式登記拒絕授權自動化圖形操作。這波拒絕潮由騰訊旗下的 65 款應用程式以及阿里巴巴旗下的 23 款應用程式帶頭，佔了更新後拒絕名單的大約 57.5%。隨著自主式人工智慧從雲端聊天介面邁向裝置端執行，此僵局突顯了在平衡「使用者導向的任務自動化」與「應用程式安全界線、商業模式和反機器人保護機制」時，所面臨的複雜技術與治理挑戰。

時間軸與背景演進：SAEP 的推出與應用程式退出潮

重點一覽

• 豆包手機助理於 2026 年 10 月 14 日結束了 30 天的 SAEP 公告期，並對未宣告拒絕的第三方 Android 應用程式分階段推出 GUI（圖形使用者介面）自動化功能。
• 拒絕名單於 10 月 14 日從最初的 151 款應用程式擴大至 153 款，其中騰訊和阿里巴巴相關軟體佔了 88 筆，約佔總名單的 57.5%。
• 該協定規範了所有支援代理功能的智慧型手機上的圖形自動化操作，為跨應用程式任務建立了宣告與稽核機制。

裝置端人工智慧的演進迅速，從對話式文字協助轉向圖形使用者介面（GUI）自動化。GUI 代理並非等待第三方服務公開專屬的 API 端點，而是利用電腦視覺來解讀畫面上的視覺元素、解析互動控制項，並執行模擬的觸控與鍵盤輸入。從理論上講，這種備用能力讓助理能夠代表使用者，在傳統或未整合的應用程式之間完成跨應用程式的工作流程。

為了建立這些自動化互動的治理機制，位元組跳動推出了「螢幕自動化執行協定」（SAEP），作為行動端 GUI 代理的宣告框架，詳情見官方的 豆包 SAEP 開發者文件。在此框架下，開發者可以在套件層級、特定 Activity 層級或功能 Intent 層級，定義外部代理是否可以與應用程式互動，進而為驗證畫面或金融結帳等敏感互動建立安全界線。

在始於 2026 年 9 月 14 日為期三十天的公告期內，該助理嚴格僅在系統公用程式以及明確選擇 opt-in（加入）的應用程式上運作。當該期間於 10 月 14 日結束時，此框架過渡至 opt-out 模式：未正式登記拒絕的應用程式將進入自動化 GUI 執行的分階段適用管線。

同時，位元組跳動公佈了最初的 151 款未參與應用程式名單，正如南方日報對 SAEP 發布的報導所述，該數字在當天稍晚更新為 153 款。此名單涵蓋了知名的消費者服務，包括微信、QQ、淘寶、支付寶、美團、拼多多、小紅書、滴滴，以及中國工商銀行和招商銀行等主要銀行應用程式。正如新京報關於拒絕名單的報導所概述，包括月之暗面（Moonshot AI）的 Kimi 和深度求索（DeepSeek）在內的競爭 AI 應用程式，也提交了正式的拒絕宣告。

這種摩擦反映出圍繞自動化裝置執行的技術敏感性。在現代行動作業系統中，處理敏感金融交易或競技遊戲的應用程式，經常會監控執行環境是否有非人工的觸控事件、背景無障礙服務（accessibility hooks）或未經驗證的輸入驅動程式。當外部軟體代理以程式化方式與客戶端介面互動時，客戶端安全引擎可能會將工作階段標記為異常的執行環境，因此需要明確的協定級標準，來區分授權的使用者協助與未經驗證的自動化行為。

技術架構：SAEP 治理與 GUI 自動化的界線

在作業系統層面上，圍繞豆包手機助理的爭議說明瞭結構化 API 整合與模擬圖形自動化之間的工程取捨。

位元組跳動圍繞著兩個不同的層級來建構其跨應用程式自動化策略：

1. 結構化代理協定（MCP 與 A2A）：偏好的整合層級依賴結構化通訊框架，包括模型上下文協定（Model Context Protocol）與代理對代理（Agent-to-Agent）標準。在此模型中，應用程式透過定義好的 Schema（綱要）主動公開經過驗證的端點。雖然結構化協定提供了可稽核的資料交換，但其現實世界的安全性取決於權杖驗證、密碼學傳輸以及明確的使用者同意範圍之實施，而第三方的採用則在逐步推進中。
2. 圖形使用者介面（GUI）備用機制：當結構化 API 不可用時，助理會退回使用 GUI 自動化。此路徑使用顯示緩衝區、光學字元辨識（OCR）以及程式化觸控注入，像真人使用者一樣導覽介面。

為了防止不受管理的畫面抓取，SAEP 規格定義了明確的政策評估管線。下圖說明瞭官方技術文件中概述的概念性決策架構：

[ 使用者授權的代理任務 ]
              │
              ▼
[ 代理身分與信任驗證 ]
              │
              ▼
[ SAEP 政策評估 ]
(系統基準 + 應用程式政策 + 使用者授權 + 任務上下文)
              │
    ┌─────────┼─────────┐
    ▼         ▼         ▼
[ 允許 (ALLOW) ]  [ 封鎖 (BLOCK) ]  [ 呼叫使用者 (CALL_USER) ]
    │         │         │
    ▼         ▼         ▼
[ 受控執行 ]  [ 操作已封鎖 ]  [ 需使用者接管 ]
              │
              ▼
[ 決策與執行稽核日誌 ]

SAEP 公佈的設計建立了應用程式政策無法削弱的系統安全基準。高風險活動（包括金融轉帳、帳戶驗證、內容發布、刪除和權限變更）可能會根據生效的政策和支援的系統版本，要求額外的使用者確認、使用者接管或執行封鎖。Intent 層級強制執行的完整性必須在目標建置版本上進行驗證。此外，該架構包含結構化日誌記錄，讓開發者能夠稽核代理請求了什麼內容以及發生了哪些動作。

儘管有這些記錄在案的控制措施，153 款應用程式的正式拒絕仍源自於根本的安全與營運考量：

• UI 自動化與惡意詐欺的區別：自動化觸控注入與程式化 UI 導覽不同於惡意廣告點擊注入或憑證填充（credential stuffing）。然而，客戶端風險引擎通常會將快速、非人類的觸控模式和無障礙工具的使用標記為異常行為。金融和遊戲應用程式採用旨在保護帳戶完整性的敏感反機器人啟發式演算法，這使它們對第三方自動化工具天生保持謹慎。
• 敏感上下文與資料保護：擷取畫面緩衝區進行 OCR 處理會帶來機密畫面文字（如帳戶餘額或私人訊息）的外洩風險，因此需要嚴格驗證裝置端的資料區隔。
• 商業與使用者旅程考量：圍繞贊助發現動態消息、開屏畫面和應用程式內推廣所設計的應用程式，仰賴直接的人工互動。產業分析師觀察到，繞過中間視覺觸控點的自動化執行路徑，會改變標準的互動指標和平臺商業模式。

架構取捨：比較整合與狀態保留模型

SAEP 框架下廣泛的開發者退出潮證明瞭，不受管理的圖形自動化在重視安全的生態系中面臨嚴重的實務限制。行動軟體團隊必須評估不同的架構模式，以平衡使用者自動化與應用程式安全性。

下表比較瞭用於啟用跨應用程式工作流程與工作階段連續性的標準產業作法：

在行動衡量與使用者獲客環境中，工程團隊面臨著另一組挑戰，涉及行銷活動歸因、安裝訊號和安裝後引數還原。行動歸因平臺（例如 Adjust、AppsFlyer 和 OpoInstall）在支援的行動行銷和 SDK 整合路徑內運作，而不是控制第三方的 GUI 自動化。

例如，OpoInstall 公開描述了行動歸因、deferred deep linking（延遲深度連結）、行銷活動引數傳遞和詐欺監控功能。這些功能可能會協助發布商評估獲客成效，並在支援的 Android 和 iOS 路徑上還原符合資格的新手引導上下文，但須視可用的歸因訊號、SDK 設定、平臺權限以及適用的隱私權要求而定。它們並不能確立某個互動是否由豆包手機助理執行、不能取代 SAEP 存取控制，也無法獨立保證所有自動化行為都能與人類活動區分開來。

工程檢查清單：實作與稽核代理自動化政策

隨著裝置端 AI 助理擴展其功能，行動開發與安全團隊應主動稽核其應用程式如何與自動化代理框架互動。

開發者實作檢查清單

• 檢閱 SAEP 規格與系統支援：檢視官方 SAEP 協定文件以評估與目標 Android 版本的相容性，檢查底層系統韌體是否支援宣告的政策端點。
• 透過有記錄的 Schema 設定 SAEP 宣告：使用參照自 AndroidManifest.xml 的記錄式 JSON Schema 來設定 SAEP 政策宣告。在依賴該政策之前，請先驗證目標支援系統版本上的 SAEP 可用性與特定強制執行能力。
• 保護敏感交易步驟：確保金融結帳、憑證輸入欄位和帳戶修改流程強制執行適當的驗證屏障，並驗證關鍵路徑是否會觸發使用者接管或執行封鎖。
• 稽核系統接管行為：在模擬代理互動下測試應用程式行為，以驗證系統在遇到使用者接管門檻時是否能正確暫停執行。
• 檢查營運稽核日誌：在支援的地方定期評估決策與執行稽核日誌，稽核註冊代理所要求的動作，並針對本機系統建置版本檢視日誌記錄政策。

產品與治理檢查清單

• 評估使用者意圖與安全界線：評估使用者導向的自動化是否能為日常任務提供切實的便利性，同時對不可逆的操作維持嚴格的限制。
• 評估商業觸點影響：分析自動化任務完成是否會影響所需的廣告曝光、新手引導流程或法律揭露。
• 監控官方拒絕名單：對於選擇退出的團隊，請驗證正式的拒絕宣告是否已提交，並在記錄的三個營業日內反映在平臺名單更新中。

實務意涵與未來展望

產業對豆包手機助理推行 SAEP 的反應，突顯了環境計算（ambient computing）的一個決定性挑戰：使用者導向的任務自動化無法繞過現代應用程式生態系的安全性與商業架構。雖然多模態模型在技術上可以解讀並與任意圖形介面互動，但企業軟體在授予執行存取權之前，需要明確的同意、可驗證的身分以及清晰的責任界線。

對於行動開發者和安全架構師而言，前進的道路在於結構化的協定級合作，而不是不受管理的視覺模擬。雖然 GUI 自動化為簡單的公用程式任務提供了過渡期的備用方案，但持久的企業整合將日益集中在經過驗證的代理協定、明確的權限範圍以及強固的伺服器端狀態保留上。今天建立清晰意圖宣告的工程組織，將最有能力在日漸興起的代理經濟中，平衡自動化便利性與嚴格的資料保護。

參考資料

• 位元組跳動豆包平臺。螢幕自動化執行協定 (SAEP) 規格。

• 南方日報。超過 150 款行動 App 選擇退出豆包手機助理螢幕自動化。

• 新京報。豆包 AI 手機在 SAEP 審查後發布 App 拒絕名單。

• Anthropic。模型上下文協定規格與架構。