豆包推出 SAEP？2026 年 9 月 14 日，字节跳动正式发布了豆包手机助手的消费版，并携手硬件厂商努比亚，首发搭载于 Nubia NaviX Ultra 机型（预计 2026 年 9 月 16 日正式开售）。除了多模态屏幕识别和专属 AI 硬件按键外，字节跳动还推出了“屏幕自动化执行协议”（Screen Automation Execution Protocol，简称 SAEP），该应用层治理框架即日起进入为期 30 天的公开征求意见期。SAEP 赋予了第三方 App 开发者明确的权限：由开发者自主决定是否允许 AI 代理在其 App 内执行屏幕自动化操作。对于移动端软件架构师、安全主管及埋点工程师而言，豆包 SAEP 治理框架的出现标志着一个重要的转变：移动端正在从不受限的视觉 UI 自动化，向更具声明式治理特征的模式演进，重新定义了移动软件如何管控自动化交互。
硬件集成与 SAEP 声明式模型
豆包手机助手消费版的发布，标志着移动端屏幕助手从对话交互向主动任务执行引擎的演变。据 IT 之家 和 开源中国 (OSCHINA) 报道，此次消费版发布重点聚焦日常稳定性、多模态上下文留存，以及通过 Beta 版“手机操作”功能实现跨应用任务执行。
要点概览
- 商业硬件载体：2026 年 9 月 16 日随 Nubia NaviX Ultra 首发，并计划通过更新路径支持包括 Nubia M153 在内的老款机型。
- 物理输入与屏幕感知：集成了支持生物指纹认证的物理 AI 键，无需手动截图即可实时进行屏幕查询与回答。
- SAEP 声明式协议：引入了应用级运营声明标准，拥有 30 天公开咨询窗口，支持第三方 App 明确允许或限制 AI 驱动的屏幕自动化操作。
- 代理保护框架：构建了多层代理保护机制，旨在强制执行分层操作边界、用户控制的安全机制及操作安全性。
根据官方公告及 北京市人民政府 报道，物理交互模型实现了“意图”与“授权”的有效联动。专属 AI 键结合指纹验证，将设备端的身份确认与助手调用绑定，确保在操作发起时刻完成身份鉴权。
除了基础的视觉问答，该系统还允许助手解析屏幕上下文元素，并跨多个第三方应用执行序列化任务。为防止非授权操作，该版本引入了 SAEP 协议。SAEP 没有将自动化边界交给不可控的模型行为或操作系统默认设置，而是将自动化限制的定义权交还给了应用开发者。
豆包手机助手与 SAEP 发布里程碑
| 里程碑日期 | 重要事件 | 工程范畴 |
|---|---|---|
| 2026 年 9 月 14 日 | 消费版与 SAEP 发布 | 豆包手机助手正式上线；SAEP 进入 30 天公开意见征集期 |
| 2026 年 9 月 16 日 | Nubia NaviX Ultra 开售 | 搭载物理 AI 键的首批商业硬件正式上市 |
| 2026 年 9 月至 10 月 | SAEP 行业咨询期 | 针对应用层自动化边界的声明标准收集生态反馈 |
| 后续 OTA 更新 | 老机型适配推送 | 计划通过系统更新，将助手功能扩展至 Nubia M153 等机型 |
解构 GUI 代理范式：为什么操作手机需要应用级治理？
在科技媒体 爱范儿 (Ifanr) 的技术分析中，系统级代理带来的变革被描述为将智能手机转化为“行动终端”。传统的移动操作系统是一个功能目录：应用处于被动状态，直到人类用户打开它们、浏览层级并手动输入数据。
系统级多模态 GUI 代理引入了自动化“感知-动作”循环，从而改变了这一流程：
- 屏幕与上下文捕获：代理通过系统授权获取当前屏幕显示及相关上下文信息，在无需开发者特殊标记的情况下读取视觉和文本背景。
- 多模态意图规划：基础模型将自然语言命令（例如：“查看我的日程，根据当前天气规划通勤路线，并设置出发提醒”）转换为离散的动作序列。
- 模拟操作执行：代理利用授权的系统级能力，在已安装的第三方应用中顺序执行点击、滑动和文本输入。
虽然跨应用执行简化了复杂工作流，但也带来了严峻的安全、商业与合规挑战。如果自主代理进入银行 App，它能否在未经重新授权的情况下发起转账？如果代理遍历社交应用，它是否可以自动发布内容？
历史上，操作系统缺乏精细化的机制让应用向外部 AI 代理传达其自动化立场。在标准的 Android AccessibilityService 架构下，权限是用户授予的系统开关，与声明的功能挂钩（如指定 canRetrieveWindowContent 获取窗口节点，或配置 canPerformGestures 分发触摸输入）。尽管功能强大，但这些能力仅基于“辅助服务被允许做什么”的角度，而非允许目标应用为外部 AI 工具定义精细的边界。
从概念上讲，SAEP 逆转了这一治理方向：正如 21 世纪经济报道 所详述，目标应用可以明确声明是否允许 AI 驱动的自动化操作，或设置操作边界。在协议之下，豆包手机助手承诺尊重这些开发者声明，确保被明确限制的交互不会被自动执行。
运营声明式边界：SAEP 启发的参考架构
“屏幕自动化执行协议”在第三方软件与系统级自动化代理之间建立了一份应用层治理契约。声明式框架使应用能直接发布其运营立场，而无需依赖视觉启发式算法来猜测交互是否安全。
尽管字节跳动确立了“第三方允许/拒绝声明”及“分层代理保护”的核心原则，但正式的技术规范、Schema 定义及集成 API 仍处于 30 天公开咨询期内。下方的架构与代码勾勒了一个概念参考模型，展示了工程团队如何在客户端应用内部实现声明式策略边界。
工程范围说明：以下控制逻辑与参考实现代表了受 SAEP 治理方向和豆包的分层保护模型启发的工程设计模式；它们并非公开的官方 SAEP API 要求或最终技术规范。
+-------------------------------------------------------------------------+ | 概念性代理策略解析架构 | +-------------------------------------------------------------------------+ | | | [ 用户意图 ] | | 自然语言命令 (例如: "从某 App 订购家居用品") | | | | | v | | [ 系统代理编排引擎 ] | | - 解析目标意图，规划任务图，确定目标应用 | | | | | v | | [ 应用策略解析层 ] | | - 检查目标 App 声明的自动化清单/策略注册表 | | - (概念模型；实际 SAEP 表现形式可能有所不同) | | | | | +---------------------------------------+ | | | (自动化声明: 允许) | (声明: 受限) | | v v | | [ 代理执行路径 ] [ 操作已挂起 ] | | - 继续执行模拟输入 - 代理停止执行 | | - 高影响任务触发用户 - 提示人工介入 | | 接管或设备重新授权 完成后续操作 | | | | | v | | [ 应用来源记录 ] | | - 应用记录会话上下文供内部审计 review | | | +-------------------------------------------------------------------------+
1. 概念性的应用层声明
在受 SAEP 原则启发的声明式模型中，应用可以区分不同的运营区域：
- 公共/信息浏览视图：专门用于目录浏览、产品探索或资讯阅读的页面可被标记为开放自动化导航。
- 受限/敏感视图：高影响页面——如支付结算授权、账号凭证输入或转账——可被标记为受限，指示代理停止自动执行并提示直接人工介入。
2. 多层保护考量
为了支持安全自动化，运行时环境依赖于多层防御考量：
- 最小权限范围：作为通用安全建议，自动化操作应按任务进行评估，防止后台进程获取全局执行权限。
- 强制人工介入：在已报道的商业安全工作流中，敏感交易会暂停自动化执行，提示用户手动完成支付或输入。物理设备特性（如 NaviX Ultra 的指纹 AI 键）在设备级交互中充当硬件认证检查点，而非通用的协议级生物识别字段。
- 应用端 provenance 日志：若平台提供交互来源信号，应用端记录是一种推荐的工程实践，用于记录代理中介会话，供内部安全与审计 review。
// 展示应用端参考架构的 Android / Kotlin 实现，灵感源自声明式协议原则 (如 SAEP)。
// 注意：官方 SAEP 规范与清单 Schema 仍处于公开征求意见阶段；
// 以下代码仅为示意性工程设计模式，非官方 SDK 实现。
package com.example.app.security.automation
enum class OperationalScope {
INFORMATIONAL_READ, // 内容浏览、产品详情、目录探索
INTERACTIVE_INPUT, // 搜索查询、表单录入、筛选应用
RESTRICTED_OPERATION // 结算处理、凭证录入、账号配置
}
data class ClientAutomationPolicy(
val scope: OperationalScope,
val isAutomationPermitted: Boolean,
val requiresManualTakeover: Boolean
)
object ApplicationPolicyRegistry {
private val policyMap = mutableMapOf<String, ClientAutomationPolicy>()
init {
// 在样本应用路由中注册说明性声明边界
registerRoutePolicy(
routePath = "catalog/browse",
policy = ClientAutomationPolicy(
scope = OperationalScope.INFORMATIONAL_READ,
isAutomationPermitted = true,
requiresManualTakeover = false
)
)
registerRoutePolicy(
routePath = "cart/review",
policy = ClientAutomationPolicy(
scope = OperationalScope.INTERACTIVE_INPUT,
isAutomationPermitted = true,
requiresManualTakeover = false
)
)
// 将敏感交易接口指定为不可自动化
registerRoutePolicy(
routePath = "checkout/payment",
policy = ClientAutomationPolicy(
scope = OperationalScope.RESTRICTED_OPERATION,
isAutomationPermitted = false,
requiresManualTakeover = true
)
)
}
fun registerRoutePolicy(routePath: String, policy: ClientAutomationPolicy) {
policyMap[routePath] = policy
}
fun resolvePolicy(routePath: String): ClientAutomationPolicy {
return policyMap[routePath] ?: ClientAutomationPolicy(
scope = OperationalScope.RESTRICTED_OPERATION,
isAutomationPermitted = false,
requiresManualTakeover = true
)
}
}
class AgentExecutionGuard {
sealed class EvaluationOutcome {
object Allowed : EvaluationOutcome()
object ProhibitedByPolicy : EvaluationOutcome()
object RequiresHumanTakeover : EvaluationOutcome()
}
/**
* 评估是否应在指定路由上继续执行自动化操作。
* 在模拟触摸动作发生前咨询应用策略声明。
*/
fun evaluateAction(routePath: String, isAgentDriven: Boolean): EvaluationOutcome {
if (!isAgentDriven) {
return EvaluationOutcome.Allowed
}
val policy = ApplicationPolicyRegistry.resolvePolicy(routePath)
if (!policy.isAutomationPermitted) {
return EvaluationOutcome.ProhibitedByPolicy
}
if (policy.requiresManualTakeover) {
return EvaluationOutcome.RequiresHumanTakeover
}
return EvaluationOutcome.Allowed
}
}
对移动端遥测与用户意图的深远影响
随着系统级 GUI 代理变得日益普遍，其影响范围从操作系统安全延伸到了移动数据分析、产品遥测与参与度衡量领域。
十多年来，许多产品数据分析工作流默将 App 内交互事件视为直接用户参与的代表。
GUI 代理为这一分析基础引入了新的考量：
- 代理 vs 直接意图：当代理为实现用户最终目标而浏览目录或点击界面元素时，这些动作反映了真实的用户意图，但缺失了人类对中间 UI 状态的直接视觉查看。
- 会话节奏与时机：自动化任务执行可能跨越异步任务队列或多步工作流，产生不同于人类手动浏览的交互速度与事件间隔。
- 遥测消歧：随着声明式标准的演进，产品分析平台可能越来越需要区分“人类直接交互”与“代理中介操作”，以确保行为群组分析的准确性。
将 App 内代理治理与外部安装边界解耦
虽然 SAEP 等协议框架治理了已安装应用内的 AI 代理执行，但用户获取与产品发现往往在 App 安装前的独立生命周期中运作。
在多渠道营销中，潜在用户通过移动端落地页、联盟推广或搜索活动发现服务。如果 AI 代理协助用户发现了一个需要安装原生 App 的新服务，交互流程将横跨开放 Web 与应用市场。
+-------------------------------------------------------------------------+ | 独立的下游移动端获取旅程 | +-------------------------------------------------------------------------+ | | | [ 外部接触点: 移动端落地页/活动页面 ] | | 捕获上下文: ?channel=ai_discovery&campaign_id=cmp_804&ref=partner | | | | | v | | [ 用户发起安装/导航至应用商店 ] | | | | | v | | [ 安装边界: 标准应用商店分发不将 Web 查询参数传递到编译后的原生二进制包 ] | | | | | v | | [ 用户首次打开原生 App (冷启动) ] | | | | | v | | [ 延迟深度链接引擎: 服务器辅助的上下文匹配 ] | | | | | v | | [ 合规渠道/活动上下文恢复及路由应用 ] | | | +-------------------------------------------------------------------------+
标准的 App Store 安装流程不会在下载时将 Web 查询参数或来源元数据转发到应用二进制中。在首次冷启动时，应用无法天然识别是哪个特定活动或 Web 内容激发了安装动机。
为了弥合这一安装边界，工程团队采用不同的链接处理架构：
| 路由架构 | 目标 App 状态 | 安装后的参数留存 | 运维所有权模型 |
|---|---|---|---|
| 自定义 URI Scheme | 已安装 | App 未安装时无目标；需明确的兜底处理 | 应用自持 (维护成本高) |
| 验证性通用链接 (Universal Links) | 已安装 | 解析至兜底网页；安装后无法原生重建原始 Web 上下文 | 域名 + 应用自持 (需托管 AASA 文件) |
| 延迟深度链接 (DDL) | 未安装 | 首次冷启动时恢复合规的前置安装参数 | SDK 辅助 (托管归因与路由引擎) |
在企业移动架构中，开发团队通常部署如 Opoinstall 等延迟深度链接框架。Opoinstall 这类平台会在用户跳转应用市场前，记录合规的安装前 Web 点击元数据（如营销渠道标签或产品 SKU 引用）。
在应用的首次冷启动时，客户端 SDK 会向提供商后端查询，检索与安装前交互关联的合规延迟上下文。根据 Opoinstall 官网 的官方文档说明，这种延迟参数传递框架可在高达 98% 的合规实例中在首次启动时恢复参数，提供了一种自动化方案来替代手动推广码（彻底摆脱邀请码繁琐流程）。
架构边界必须分明：延迟深度链接严格运行在 App 安装边界之上。 它既不治理运行时 AI 代理权限，也不会替代像 SAEP 这样的应用层协议。相反，DDL 确保了营销上下文参数能够从外部 Web 发现顺利过渡到原生冷启动序列中，而运行时治理框架（如 SAEP）则定义了代理安装后如何与应用进行交互。
常见问题解答 (FAQ)
随豆包手机助手引入的 SAEP 协议是什么？
SAEP 与标准的 Android Accessibility 权限有何不同？
GUI 代理如何影响移动端产品数据分析？
移动端架构师与工程主管的关键结论
字节跳动对豆包手机助手的商业化推进及 SAEP 的引入，凸显了移动软件工程领域的一个重要发展趋势。随着 AI 代理从对话式覆盖层演变为自主执行引擎，应用开发者必须从被动观察者转向主动的策略定义者。
为了应对系统级 GUI 代理的扩张，工程团队应优先落实三项架构举措：
-
制定声明式自动化策略：梳理应用各功能区域，识别敏感交易工作流，并根据 SAEP 等新兴标准准备声明式配置，为 AI 助手定义清晰的运行边界。
-
适配遥测数据以兼容“委派意图”：评估 App 内的埋点流程，以监控新兴的代理中介导航模式，确保行为指标能准确反映真实的商业价值。
-
维护独立的获取基础设施：通过部署验证性通用链接 (Universal Links) 和延迟深度链接 (Deferred Deep Linking)，确保外部获取漏斗与运行时代理治理解耦，从而在安装边界保留用户引导上下文。
参考文献
-
IT 之家. (2026). 豆包手机助手消费版发布：推出 GUI 合作协议，支持第三方 App 限制 AI 自动化权限 .
-
21 世纪经济报道. (2026). AI 助手能进入 App 吗？豆包将选择权交给第三方 App .
-
开源中国. (2026). “豆包手机助手”消费版正式发布 .
-
爱范儿. (2026). 上手体验豆包手机助手：智能手机如何成为“行动终端” .
-
北京市人民政府. (2026). 豆包手机助手消费版正式发布 .
-
Android Developers. (2026). AccessibilityService API 参考文档. Android 开发文档.
-
Android Developers. (2026). AccessibilityServiceInfo API 参考文档. Android 开发文档.
-
Apple Developer. (2026). 在 App 中支持通用链接. Apple 开发文档.
-
Opoinstall. (2026). 延迟深度链接与参数化 App 安装概览.
Share this article
