두바오, 화면 자동화 기능 도입? 앱들이 권한을 거부하는 이유

두바오의 화면 자동화 도입? 바이트댄스의 두바오 폰 어시스턴트(Doubao Phone Assistant)는 2026년 10월 14일 화면 자동화 실행 프로토콜(SAEP)에 대한 30일간의 공개 의견 수렴 기간을 마무리하고, 거부를 선언하지 않은 타사 안드로이드 앱 전반에서 AI 에이전트가 화면 작업을 자동화할 수 있도록 허용하는 기본 거부(opt-out) 정책을 시작했습니다. 그러나 초기 151개였으며 10월 14일에 153개 앱으로 빠르게 업데이트된 최초의 애플리케이션 목록은 자동화된 그래픽 작업을 허용하지 않겠다는 거부 의사를 공식적으로 등록했습니다. 텐센트 소속 65개 앱과 알리바바 소속 23개 앱이 주도한 이들 항목은 업데이트된 거부 등록부의 약 57.5%를 차지합니다. 자율 인공지능이 클라우드 채팅 인터페이스에서 기기 수준의 실행으로 이동함에 따라, 이러한 대립은 사용자 주도 작업 자동화와 애플리케이션 보안 경계, 상업적 모델 및 봇 방지 보호 간의 균형을 맞추는 복잡한 기술 및 거버넌스 과제를 부각합니다.

연대기적 타임라인 및 배경 진화: SAEP 출시와 앱의 거부 선언

요약

• 두바오 폰 어시스턴트는 2026년 10월 14일 30일간의 SAEP 공지 기간을 종료하고, 거부를 선언하지 않은 타사 안드로이드 앱을 대상으로 한 GUI 자동화의 단계적 출시로 전환했습니다.
• 거부 등록부는 10월 14일 초기 151개 애플리케이션에서 153개로 확대되었으며, 텐센트 및 알리바바 계열 소프트웨어가 88개 항목으로 전체 목록의 약 57.5%를 차지했습니다.
• 이 프로토콜은 지원되는 에이전트 지원 스마트폰 전반의 그래픽 자동화를 관리하며, 교차 애플리케이션 작업에 대한 선언 및 감사 메커니즘을 구축합니다.

온디바이스 인공지능의 진화는 대화형 텍스트 지원에서 그래픽 사용자 인터페이스(GUI) 자동화로 빠르게 진행되었습니다. 타사 서비스가 맞춤형 API 엔드포인트를 노출할 때까지 기다리는 대신, GUI 에이전트는 컴퓨터 비전을 사용하여 화면상의 시각적 요소를 해석하고, 대화형 컨트롤을 구문 분석하며, 가상 터치 및 키보드 입력을 실행합니다. 이론적으로 이러한 대체 기능을 통해 어시스턴트는 레거시 또는 통합되지 않은 애플리케이션 전반에서 사용자를 대신하여 교차 애플리케이션 워크플로를 완료할 수 있습니다.

이러한 자동화된 상호작용에 대한 거버넌스를 구축하기 위해 바이트댄스는 공식 두바오 SAEP 개발자 문서에 자세히 설명된 대로 모바일 GUI 에이전트를 위한 선언 프레임워크로 화면 자동화 실행 프로토콜(SAEP)을 도입했습니다. 이 프레임워크에 따라 개발자는 외부 에이전트가 패키지 수준, 특정 액티비티 수준 또는 기능적 인텐트 수준에서 애플리케이션과 상호작용할 수 있는지 여부를 정의하여 인증 화면이나 금융 결제와 같은 민감한 상호작용 주변의 경계를 설정할 수 있습니다.

2026년 9월 14일에 시작된 30일의 공지 기간 동안 어시스턴트는 시스템 유틸리티 및 명시적으로 옵트인한 애플리케이션만 엄격하게 대상으로 운영되었습니다. 해당 기간이 10월 14일에 종료됨에 따라 프레임워크는 거부 모델로 전환되었습니다. 즉, 거부 의사를 공식적으로 등록하지 않은 애플리케이션은 자동화된 GUI 실행을 위한 단계적 적격성 파이프라인에 진입했습니다.

동시에 바이트댄스는 참여하지 않는 151개 애플리케이션의 초기 등록부를 발표했으며, 남방일보의 SAEP 출시 보도에 따르면 이 수치는 같은 날 나중에 153개로 업데이트되었습니다. 이 등록부에는 위챗, QQ, 타오바오, 알리페이, 메이퇀, 핀뚜어뚜어, 샤오홍슈, 디디 등 주요 소비자 서비스와 공상은행(ICBC), 초상은행 등 주요 은행 애플리케이션이 포함되어 있습니다. 거부 등록부에 대한 베이징 뉴스의 보도에 설명된 바와 같이, 뮨숏 AI의 키미(Kimi)와 딥시크(DeepSeek)를 포함한 경쟁 AI 애플리케이션도 공식적인 거부 선언을 제출했습니다.

이러한 마찰은 자동화된 기기 실행을 둘러싼 기술적 민감성을 반영합니다. 최신 모바일 운영 체제에서 민감한 금융 거래나 경쟁성 게임을 처리하는 애플리케이션은 종종 가상 터치 이벤트, 백그라운드 접근성 훅 또는 검증되지 않은 입력 드라이버에 대해 런타임 환경을 모니터링합니다. 외부 소프트웨어 에이전트가 클라이언트 인터페이스와 프로그래밍 방식으로 상호작용할 때, 클라이언트 측 보안 엔진은 해당 세션을 비정상적인 실행 환경으로 플래그 지정할 수 있으며, 이에 따라 승인된 사용자 지원과 검증되지 않은 자동화를 분리하기 위한 명확한 프로토콜 수준의 표준이 필요합니다.

기술 아키텍처: SAEP 거버넌스와 GUI 자동화의 경계

운영 체제 계층에서 두바오 폰 어시스턴트를 둘러싼 논란은 구조화된 API 통합과 시뮬레이션된 그래픽 자동화 사이의 엔지니어링 절차적 상충 관계를 보여줍니다.

바이트댄스는 교차 앱 자동화 전략을 두 가지 고유한 계층으로 구성했습니다.

1. 구조화된 에이전트 프로토콜 (MCP 및 A2A): 선호되는 통합 계층은 모델 컨텍스트 프로토콜 및 에이전트 간(Agent-to-Agent) 표준을 포함한 구조화된 통신 프레임워크에 의존합니다. 이 모델에서 애플리케이션은 정의된 스키마가 포함된 인증된 엔드포인트를 자발적으로 노출합니다. 구조화된 프로토콜은 감사 가능한 데이터 교환을 제공하지만, 실제 보안은 토큰 검증, 암호화된 전송 및 명시적 사용자 동의 범위의 구현에 따라 달라지며 타사 채택은 점진적으로 진행됩니다.
2. 그래픽 사용자 인터페이스(GUI) 대체(Fallback): 구조화된 API를 사용할 수 없는 경우, 어시스턴트는 GUI 자동화로 대체합니다. 이 경로는 디스플레이 버퍼, 광학 문자 판독(OCR), 프로그래밍 방식 터치 주입을 사용하여 인간 사용자가 하는 것처럼 인터페이스를 탐색합니다.

관리되지 않는 화면 스크래핑을 방지하기 위해 SAEP 사양은 명시적 정책 평가 파이프라인을 정의합니다. 아래 다이어그램은 공식 기술 문서에 설명된 개념적 의사결정 아키텍처를 보여줍니다.

[ User-Authorized Agent Task ]
              │
              ▼
[ Agent Identity & Trust Verification ]
              │
              ▼
[ SAEP Policy Evaluation ]
(System Baseline + App Policy + User Authorization + Task Context)
              │
    ┌─────────┼─────────┐
    ▼         ▼         ▼
[ ALLOW ]  [ BLOCK ]  [ CALL_USER ]
    │         │         │
    ▼         ▼         ▼
[ Controlled  [ Operation [ User Takeover
  Execution ]   Blocked ]   Required ]
              │
              ▼
[ Decision & Execution Audit Logging ]

SAEP의 게시된 설계는 애플리케이션 정책이 약화할 수 없는 시스템 보안 기준을 설정합니다. 금융 송금, 계정 인증, 콘텐츠 게시, 삭제, 권한 변경을 포함한 고위험 활동은 유효한 정책 및 지원되는 시스템 버전에 따라 추가 사용자 확인, 사용자 개입 또는 실행 차단이 필요할 수 있습니다. 인텐트 수준 집행의 완전성은 대상 빌드에서 검증되어야 합니다. 또한 아키텍처에는 구조화된 로깅이 포함되어 있어 개발자가 에이전트가 요청한 내용과 발생한 작업을 감사할 수 있습니다.

이러한 문서화된 제어에도 불구하고 153개 애플리케이션의 공식 거부는 근본적인 보안 및 운영상의 우려에서 비롯됩니다.

• UI 자동화와 악의적 사기의 구별: 자동화된 터치 주입 및 프로그래밍 방식 UI 탐색은 악의적인 광고 클릭 주입이나 자격 증명 스터핑과 다릅니다. 그러나 클라이언트 측 위험 엔진은 비정상적인 행동으로 빠른 비인간적 터치 패턴과 접근성 후크 사용을 플래그 지정하는 경우가 많습니다. 금융 및 게임 애플리케이션은 계정 무결성을 보호하도록 설계된 민감한 봇 방지 휴리스틱을 채택하므로 타사 자동화 도구에 대해 본질적으로 신중합니다.
• 민감한 컨텍스트 및 데이터 보호: OCR 처리를 위해 화면 버퍼를 캡처하면 재무 잔액이나 비공개 메시지와 같은 기밀 화면 텍스트에 대한 잠재적 노출 위험이 발생하므로 온디바이스 구획화에 대한 엄격한 검증이 필요합니다.
• 상업적 및 사용자 여정 고려사항: 스폰서 디스커버리 피드, 스플래시 디스플레이, 인앱 프로모션을 중심으로 설계된 애플리케이션은 직접적인 인간 참여에 의존합니다. 업계 분석가들은 중간 시각적 터치포인트를 우회하는 자동화된 실행 경로가 표준 참여 지표와 플랫폼 상업 모델을 변경한다고 관찰합니다.

아키텍처 상충 관계: 통합 및 상태 보존 모델 비교

SAEP 프레임워크에 따른 광범위한 개발자 거부는 관리되지 않는 그래픽 자동화가 보안에 민감한 생태계 전반에서 심각한 실무적 한계에 직면해 있음을 보여줍니다. 모바일 소프트웨어 팀은 사용자 자동화와 애플리케이션 안전의 균형을 맞추기 위해 다양한 아키텍처 패턴을 평가해야 합니다.

아래 매트릭스는 교차 애플리케이션 워크플로 및 세션 연속성을 활성화하기 위한 표준 업계 접근 방식을 비교합니다.

모바일 측정 및 사용자 획득 환경에서 엔지니어링 팀은 캠페인 어트리뷰션, 설치 신호, 설치 후 매개변수 복원과 관련된 별도의 과제에 직면해 있습니다. 어저스트(Adjust), 앱스플라이어(AppsFlyer) 및 오포인스톨(OpoInstall)과 같은 모바일 어트리뷰션 플랫폼은 타사 GUI 자동화를 제어하는 것이 아니라 지원되는 모바일 마케팅 및 SDK 통합 경로 내에서 작동합니다.

예를 들어 OpoInstall은 모바일 어트리뷰션, 지연된 딥 링크, 캠페인 매개변수 전달 및 사기 모니터링 기능을 공개적으로 설명합니다. 이러한 기능은 사용 가능한 어트리뷰션 신호, SDK 구성, 플랫폼 권한 및 적용 가능한 개인정보 보호 요건에 따라 퍼블리셔가 지원되는 안드로이드 및 iOS 경로에서 획득 성과를 평가하고 적격한 온보딩 컨텍스트를 복원하는 데 도움을 줄 수 있습니다. 이는 상호작용이 두바오 폰 어시스턴트에 의해 수행되었는지 여부를 설정하거나, SAEP 액세스 제어를 대체하거나, 모든 자동화된 행동이 인간의 활동과 구별될 수 있음을 독립적으로 보장하지 않습니다.

엔지니어링 체크리스트: 에이전트 자동화 정책 구현 및 감사

온디바이스 AI 어시스턴트가 기능적 역량을 확장함에 따라 모바일 개발 및 보안 팀은 애플리케이션이 자동화된 에이전트 프레임워크와 상호작용하는 방식을 선제적으로 감사해야 합니다.

개발자 구현 체크리스트

• SAEP 사양 및 시스템 지원 검토: 공식 SAEP 프로토콜 문서를 검토하여 대상 안드로이드 버전과의 호환성을 평가하고, 기본 시스템 펌웨어가 선언된 정책 엔드포인트를 지원하는지 확인합니다.
• 문서화된 스키마를 통해 SAEP 선언 구성: AndroidManifest.xml에서 참조되는 문서화된 JSON 스키마를 사용하여 SAEP 정책 선언을 구성합니다. 정책에 의존하기 전에 지원되는 대상 시스템 버전에서 SAEP 가용성 및 특정 집행 기능을 확인합니다.
• 민감한 거래 단계 보호: 금융 결제, 자격 증명 입력 필드, 계정 수정 흐름이 적절한 인증 장벽을 강제하도록 하고 중요 경로가 사용자 개입 또는 실행 차단을 트리거하는지 검증합니다.
• 시스템 개입 동작 검사: 시뮬레이션된 에이전트 상호작용 하에서 애플리케이션 동작을 테스트하여 사용자가 개입해야 하는 임계값에 도달했을 때 시스템이 실행을 올바르게 일시 중지하는지 확인합니다.
• 운영 감사 로그 검사: 지원되는 경우 결정 및 실행 감사 로그를 정기적으로 평가하고 등록된 에이전트가 요청한 작업을 감사하며 로컬 시스템 빌드에 대해 로깅 정책을 검토합니다.

제품 및 거버넌스 체크리스트

• 사용자 인텐트 대 보안 경계 평가: 사용자 주도 자동화가 루틴 작업에 실질적인 편의성을 제공하는 동시에 돌이킬 수 없는 작업에 대해서는 엄격한 마찰을 유지하는지 평가합니다.
• 상업적 터치포인트 영향 평가: 자동화된 작업 완료가 필수 광고 노출, 온보딩 흐름 또는 법적 공개에 영향을 미치는지 분석합니다.
• 공식 거부 등록부 모니터링: 옵트인을 선택한 팀의 경우 공식 거부 선언이 제출되고 문서화된 3영업일 창 내에서 플랫폼 등록부 업데이트에 반영되는지 확인합니다.

실무적 시사점 및 향후 전망

두바오 폰 어시스턴트의 SAEP 표출에 대한 업계의 반응은 주변 컴퓨팅의 결정적인 과제인 '사용자 주도 작업 자동화가 현대 애플리케이션 생태계의 보안 및 비즈니스 아키텍처를 우회할 수 없다'는 점을 부각합니다. 멀티모달 모델은 임의의 그래픽 인터페이스를 기술적으로 해석하고 상호작용할 수 있지만, 엔터프라이즈 소프트웨어는 실행 액세스를 부여하기 전에 명시적인 동의, 검증 가능한 신원, 명확한 책임 경계를 요구합니다.

모바일 개발자와 보안 아키텍트에게 앞으로 나아갈 길은 관리되지 않는 시각적 시뮬레이션이 아닌 구조화된 프로토콜 수준의 협력에 있습니다. GUI 자동화는 단순한 유틸리티 작업을 위한 임시 대안을 제공하지만, 지속 가능한 엔터프라이즈 통합은 인증된 에이전트 프로토콜, 명시적 권한 범위, 강력한 서버 측 상태 보존을 중심으로 점차 강화될 것입니다. 오늘날 명확한 인텐트 선언을 구축하는 엔지니어링 조직은 신흥 에이전트 경제에서 자동화의 편리함과 엄격한 데이터 보호의 균형을 맞추는 데 가장 유리한 위치를 차지하게 될 것입니다.

참고 자료

• 바이트댄스 두바오 플랫폼. 화면 자동화 실행 프로토콜(SAEP) 사양.

• 남방일보. 150개 이상의 모바일 앱, 두바오 폰 어시스턴트 화면 자동화 거부.

• 베이징 뉴스. 두바오 AI 폰, SAEP 검토에 따라 앱 거부 등록부 게시.

• 앤스로픽(Anthropic). 모델 컨텍스트 프로토콜 사양 및 아키텍처.