Doubao Membolehkan Automasi Skrin? Sebab Aplikasi Menolak Kebenaran

opoinstall
2026-10-15
5 min read

Doubao Membolehkan Automasi Skrin? Pembantu Telefon Doubao daripada ByteDance menamatkan tempoh ulasan awam selama tiga puluh hari untuk Protokol Pelaksanaan Automasi Skrin (SAEP) pada 14 Oktober 2026, lalu memulakan dasar menarik diri secara lalai yang membolehkan ejen AI mengautomasikan tindakan skrin merentasi aplikasi Android pihak ketiga yang tidak menolak. Walau bagaimanapun, senarai awal 151 aplikasi—yang dikemas kini dengan pantas pada 14 Oktober kepada 153 aplikasi—mendaftarkan penolakan mereka secara rasmi untuk membenarkan operasi grafik automatik. Dipimpin oleh 65 aplikasi daripada Tencent dan 23 daripada Alibaba, entri ini merangkumi kira-kira 57.5 peratus daripada daftar penolakan yang dikemas kini. Ketika kecerdasan buatan autónom beralih daripada antara muka sembang awan kepada pelaksanaan peringkat peranti, pendirian ini mengetengahkan cabaran teknikal dan tadbir urus yang kompleks dalam mengimbas keselamatan aplikasi, model komersial dan perlindungan anti-bot dengan automasi tugas yang diarahkan pengguna.

Garis Masa Kronologi & Evolusi Latar Belakang: Pelancaran SAEP dan Penarikan Diri Aplikasi

Secara Ringkas

  • Pembantu Telefon Doubao menamatkan tempoh notis SAEP selama 30 hari pada 14 Oktober 2026, beralih kepada pelancaran berfasa automasi GUI untuk aplikasi Android pihak ketiga yang belum mengisytiharkan penolakan.
  • Daftar penolakan berkembang daripada 151 aplikasi permulaan kepada 153 pada 14 Oktober, dengan perisian gabungan Tencent dan Alibaba mewakili 88 entri, atau kira-kira 57.5 peratus daripada senarai tersebut.
  • Protokol ini mengawal selia automasi grafik merentasi telefon pintar berserta ejen yang disokong, mewujudkan mekanisme pengisytiharan dan audit untuk tugas rentas aplikasi.

Evolusi kecerdasan buatan pada peranti telah berkembang pesat daripada bantuan teks perbualan ke arah automasi antara muka pengguna grafik (GUI). Daripada menunggu perkhidmatan pihak ketiga mendedahkan titik akhir API tersuai, ejen GUI mentafsir unsur visual pada skrin menggunakan penglihatan komputer, menghuraikan kawalan interaktif dan melaksanakan input sentuhan serta papan kekunci sintetik. Secara teori, keupayaan sandaran ini membolehkan pembantu menyelesaikan aliran kerja rentas aplikasi bagi pihak pengguna merentasi aplikasi warisan atau aplikasi yang tidak bersepadu.

Untuk mewujudkan tadbir urus bagi interaksi automatik ini, ByteDance memperkenalkan Protokol Pelaksanaan Automasi Skrin (SAEP) sebagai rangka kerja pengisytiharan untuk ejen GUI mudah alih, seperti yang diperincikan dalam dokumentasi pembangun Doubao SAEP yang rasmi. Di bawah rangka kerja ini, pembangun boleh menentukan sama ada ejen luaran boleh berinteraksi dengan aplikasi pada peringkat pakej, peringkat Aktiviti tertentu, atau peringkat niat fungsi, mewujudkan sempadan di sekitar interaksi sensitif seperti skrin pengesahan atau pembayaran kewangan.

Pengumuman rasmi Pembantu Telefon Doubao mengenai Protokol Pelaksanaan Automasi Skrin SAEP menamatkan tempoh ulasan awamnya

Semasa tempoh notis tiga puluh hari yang bermula pada 14 September 2026, pembantu tersebut beroperasi secara ketat pada utiliti sistem dan aplikasi yang memilih masuk secara eksplisit. Apabila tempoh itu berakhir pada 14 Oktober, rangka kerja tersebut beralih kepada model menarik diri: aplikasi yang belum mendaftarkan penolakan secara rasmi memasuki saluran kelayakan berfasa untuk pelaksanaan GUI automatik.

Pada masa yang sama, ByteDance menerbitkan daftar permulaan 151 aplikasi yang tidak mengambil bahagian, angka yang dikemas kini lewat hari itu kepada 153, seperti yang dilaporkan oleh liputan Nanfang Daily mengenai pelancaran SAEP. Daftar tersebut merangkumi perkhidmatan pengguna terkemuka, termasuk WeChat, QQ, Taobao, Alipay, Meituan, Pinduoduo, Xiaohongshu, Didi, serta aplikasi perbankan utama seperti ICBC dan China Merchants Bank. Aplikasi AI yang bersaing, termasuk Kimi daripada Moonshot AI dan DeepSeek, turut menyerahkan pengisytiharan penolakan rasmi, seperti yang digariskan dalam laporan Beijing News mengenai daftar penolakan.

Senarai rasmi aplikasi mudah alih pihak ketiga yang mengisytiharkan penolakan di bawah rangka kerja Doubao SAEP

Geseran ini mencerminkan sensitiviti teknikal di sekeliling pelaksanaan peranti automatik. Dalam sistem pengendalian mudah alih moden, aplikasi yang mengendalikan transaksi kewangan sensitif atau permainan kompetitif kerap memantau persekitaran masa jalan untuk acara sentuhan sintetik, cangkuk kebolehaksesan latar belakang, atau pemacu input yang tidak disahkan. Apabila ejen perisian luaran berinteraksi dengan antara muka pelanggan secara pengaturcaraan, enjin keselamatan sebelah pelanggan mungkin menandakan sesi tersebut sebagai persekitaran pelaksanaan yang tidak biasa, yang memerlukan piawaian peringkat protokol yang jelas untuk memisahkan bantuan pengguna yang dibenarkan daripada automasi yang tidak disahkan.

Seni Bina Teknikal: Tadbir Urus SAEP dan Sempadan Automasi GUI

Pada lapisan sistem pengendalian, kontroversi di sekeliling Pembantu Telefon Doubao menggambarkan pertimbangan kejuruteraan antara integrasi API berstruktur dan automasi grafik bersimulasi.

ByteDance telah menyusun strategi automasi rentas aplikasinya di sekitar dua peringkat berbeza:

  1. Protokol Ejen Berstruktur (MCP & A2A): Peringkat integrasi pilihan bergantung pada rangka kerja komunikasi berstruktur, termasuk Model Context Protocol dan piawaian Ejen kepada Ejen. Dalam model ini, aplikasi mendedahkan titik akhir yang disahkan secara sukarela dengan skema yang ditentukan. Walaupun protokol berstruktur menyediakan pertukaran data yang boleh diaudit, keselamatan dunia sebenar mereka bergantung pada pelaksanaan pengesahan token, pengangkutan kriptografi, dan skop persetujuan pengguna yang eksplisit, dengan penerimaan pihak ketiga berkembang secara beransur-ansur.
  2. Sandaran Antara Muka Pengguna (GUI): Apabila API berstruktur tidak tersedia, pembantu tersebut beralih kepada sandaran automasi GUI. Laluan ini menggunakan penimbal paparan, pengecaman aksara optik (OCR), dan suntikan sentuhan pengaturcaraan untuk menavigasi antara muka seperti yang dilakukan oleh pengguna manusia.

Untuk mengelakkan pengikisan skrin yang tidak diuruskan, spesifikasi SAEP mentakrifkan saluran penilaian dasar yang eksplisit. Rajah di bawah menggambarkan seni bina pembuatan keputusan konseptual yanggariskan dalam dokumentasi teknikal rasmi:

[ User-Authorized Agent Task ]
              │
              ▼
[ Agent Identity & Trust Verification ]
              │
              ▼
[ SAEP Policy Evaluation ]
(System Baseline + App Policy + User Authorization + Task Context)
              │
    ┌─────────┼─────────┐
    ▼         ▼         ▼
[ ALLOW ]  [ BLOCK ]  [ CALL_USER ]
    │         │         │
    ▼         ▼         ▼
[ Controlled  [ Operation [ User Takeover
  Execution ]   Blocked ]   Required ]
              │
              ▼
[ Decision & Execution Audit Logging ]

Reka bentuk SAEP yang diterbitkan mewujudkan garis asas keselamatan sistem yang tidak boleh melemahkan dasar aplikasi. Aktiviti berisiko tinggi, termasuk pemindahan kewangan, pengesahan akaun, penerbitan kandungan, pemadaman, dan perubahan kebenaran, mungkin memerlukan pengesahan pengguna tambahan, pengambilalihan pengguna, atau penyekatan pelaksanaan, bergantung pada dasar yang berkuat kuasa dan versi sistem yang disokong. Kesempurnaan penguatkuasaan peringkat niat mesti disasarkan pada binaan sasaran. Tambahan pula, seni bina ini merangkumi pembalakan berstruktur, membolehkan pembangun mengaudit perkara yang diminta oleh ejen dan tindakan yang berlaku.

Walaupun terdapat kawalan yang didokumenkan ini, penolakan rasmi daripada 153 aplikasi berpunca daripada kebimbangan keselamatan dan operasi asas:

  • Perbezaan Antara Automasi UI dan Penipuan Berbahaya: Suntikan sentuhan automatik dan navigasi UI pengaturcaraan adalah berbeza daripada suntikan klik pemasaran berniat jahat atau pengisian kelayakan. Walau bagaimanapun, enjin risiko sebelah pelanggan selalunya menandakan corak sentuhan pantas bukan manusia dan penggunaan cangkuk kebolehaksesan sebagai tingkah laku anomali. Aplikasi kewangan dan permainan menggunakan heuristik anti-bot sensitif yang direka bentuk untuk melindungi integriti akaun, menjadikannya secara semulajadi berhati-hati terhadap alat automasi pihak ketiga.
  • Konteks Sensitif dan Perlindungan Data: Menangkap penimbal skrin untuk pemprosesan OCR memperkenalkan potensi risiko pendedahan untuk teks sulit pada skrin, seperti baki kewangan atau mesej peribadi, yang memerlukan pengesahan ketat terhadap pengkompartmenan pada peranti.
  • Pertimbangan Komersial dan Perjalanan Pengguna: Aplikasi yang direka bentuk di sekitar suapan penemuan tajaan, paparan percikan, dan promosi dalam apl bergantung pada penglibatan manusia secara langsung. Penganalisis industri memerhatikan bahawa laluan pelaksanaan automatik yang memintas titik sentuhan visual pertengahan mengubah metrik penglibatan standard dan model komersial platform.

Gambaran keseluruhan ekosistem kategori aplikasi yang melaksanakan pengisytiharan penolakan

Pertimbangan Seni Bina: Membandingkan Model Integrasi dan Pemeliharaan Keadaan

Penarikan diri pembangun yang meluas di bawah rangka kerja SAEP menunjukkan bahawa automasi grafik yang tidak diuruskan menghadapi had praktikal yang teruk merentasi ekosistem yang sensitif terhadap keselamatan. Pasukan perisian mudah alih mesti menilai corak seni bina yang berbeza untuk mengimbas automasi pengguna dengan keselamatan aplikasi.

Matriks di bawah membandingkan pendekatan industri standard untuk membolehkan aliran kerja rentas aplikasi dan kesinambungan sesi:

Corak Seni Bina Skop Teknikal Utama Sempadan Pelaksanaan Mekanisme Tadbir Urus & Audit
Automasi GUI Diisytiharkan (SAEP) Penghuraian skrin visual dan sandaran input bersimulasi Beroperasi merentasi elemen UI yang kelihatan melalui kawalan sistem Fail dasar apl deklaratif dan log audit pelaksanaan peringkat sistem
Protokol Ejen Berstruktur (MCP / A2A) Panggilan alat fungsian langsung melalui RPC berstruktur Terhad kepada titik akhir skema yang didedahkan secara eksplisit Token khusus protokol, skop kebenaran, dan kebenaran aplikasi
Pautan Mendalam Peringkat OS (Universal Links) Penghalaan kandungan yang diseragamkan ke dalam aplikasi mudah alih asli Kotak pasir aplikasi asli dan hierarki paparan Fail persatuan domain yang disahkan dan skema URL sistem yang didaftarkan
Atribusi Mudah Alih & Pemulihan Parameter Mengukur pemerolehan pengguna dan kesinambungan orientasi Titik akhir pelayan ke pelayan dan jabat tangan SDK mudah alih Isyarat atribusi yang disokong platform, integrasi SDK, persatuan parameter yang dibenarkan, dan semakan penipuan khusus produk

Dalam persekitaran pengukuran mudah alih dan pemerolehan pengguna, pasukan kejuruteraan menghadapi pelbagai cabaran yang melibatkan atribusi kempen, isyarat pemasangan, dan pemulihan parameter selepas pemasangan. Platform atribusi mudah alih seperti Adjust, AppsFlyer, dan OpoInstall beroperasi dalam pemasaran mudah alih yang disokong dan laluan integrasi SDK berbanding mengawal automasi GUI pihak ketiga.

Sebagai contoh, OpoInstall menerangkan secara terbuka atribusi mudah alih, pautan mendalam tertunda, penghantaran parameter kempen, dan keupayaan pemantauan penipuan. Fungsi ini boleh membantu penerbit menilai prestasi pemerolehan dan memulihkan konteks orientasi yang layak pada laluan Android dan iOS yang disokong, tertakluk kepada isyarat atribusi yang tersedia, konfigurasi SDK, kebenaran platform, dan keperluan privasi yang berkenaan. Mereka tidak menentukan sama ada interaksi telah dilakukan oleh Pembantu Telefon Doubao, menggantikan kawalan akses SAEP, atau menjamin secara bebas bahawa semua tingkah laku automatik boleh dibezakan daripada aktiviti manusia.

Senarai Semak Kejuruteraan: Melaksanakan dan Mengaudit Dasar Automasi Ejen

Ketika pembantu AI pada peranti mengembangkan keupayaan fungsian mereka, pasukan pembangunan dan keselamatan mudah alih harus secara proaktif mengaudit cara aplikasi mereka berinteraksi dengan rangka kerja ejen automatik.

Senarai Semak Paksanaan Pembangun

  • Semak Spesifikasi SAEP dan Sokongan Sistem: Teliti dokumentasi protokol SAEP rasmi untuk menilai keserasian dengan versi Android sasaran, memeriksa sama ada perisian tegar sistem asas menyokong titik akhir dasar yang diisytiharkan.
  • Konfigurasikan Pengisytiharan SAEP melalui Skema Didokumenkan: Konfigurasikan pengisytiharan dasar SAEP menggunakan skema JSON didokumenkan yang dirujuk daripada AndroidManifest.xml. Sahkan ketersediaan SAEP dan keupayaan penguatkuasaan khusus pada versi sistem disokong sasaran sebelum bergantung pada dasar tersebut.
  • Lindungi Langkah Transaksi Sensitif: Pastikan pembayaran kewangan, medan kemasukan kelayakan, dan aliran pengubahsuaian akaun menguatkuasakan halangan pengesahan yang betul, mengesahkan bahawa laluan kritikal mencetuskan pengambilalihan pengguna atau penyekatan pelaksanaan.
  • Audit Tingkah Laku Pengambilalihan Sistem: Uji tingkah laku aplikasi di bawah interaksi ejen bersimulasi untuk mengesahkan bahawa sistem menjeda pelaksanaan dengan betul apabila menemui ambang pengambilalihan pengguna.
  • Periksa Log Audit Operasi: Nilaikan log audit keputusan dan pelaksanaan secara kerap jika disokong, mengaudit tindakan yang diminta oleh ejen berdaftar dan menyemak polisi pembalakan terhadap binaan sistem tempatan.

Senarai Semak Produk & Tadbir Urus

  • Nilai Niat Pengguna lwn. Sempadan Keselamatan: Menilai sama ada automasi yang diarahkan pengguna memberikan kemudahan ketara untuk tugas rutin sambil mengekalkan geseran ketat pada tindakan yang tidak boleh berbalik.
  • Nilai Kesan Titik Sentuhan Komersial: Analisis sama ada penyelesaian tugas automatik menjejaskan paparan pengiklanan yang diperlukan, aliran orientasi, atau pendedahan undang-undang.
  • Pantau Daftar Penolakan Rasmi: Bagi pasukan yang memilih untuk menarik diri, pastikan pengisytiharan penolakan rasmi diserahkan dan dicerminkan dalam kemas kini daftar platform dalam tempoh tiga hari perniagaan yang didokumenkan.

Soalan Lazim (FAQ)

Apakah itu Protokol Pelaksanaan Automasi Skrin (SAEP)?
SAEP ialah rangka kerja pengisytiharan yang diperkenalkan oleh ByteDance untuk Pembantu Telefon Doubao. Ia menyediakan mekanisme tersiar bagi aplikasi Android pihak ketiga untuk mengisytiharkan sama ada, dan sejauh mana, ejen AI pada peranti boleh berinteraksi dengan antara muka pengguna mereka. Protokol ini menilai identiti ejen, garis asas keselamatan sistem, dan dasar khusus apl untuk mengembalikan keputusan pelaksanaan seperti BENARKAN, SEKAT, atau HUBUNGI_PENGGUNA.
Mengapa 153 aplikasi secara rasmi menolak automasi skrin Doubao?
Aplikasi menyerahkan pengisytiharan penolakan disebabkan oleh gabungan faktor keselamatan, privasi, dan operasi. Walaupun automasi GUI direka bentuk untuk tugas pengguna yang dibenarkan, input sentuhan sintetik boleh berinteraksi secara tidak dijangka dengan heuristik anti-bot dalam aplikasi perbankan dan permainan. Di samping itu, pembangun menimbulkan pertimbangan mengenai perlindungan data sensitif pada skrin, liabiliti transaksi, dan pemeliharaan perjalanan pengguna komersial teras.
Apakah perbezaan teknikal antara MCP dan automasi GUI?
Model Context Protocol (MCP) menggunakan titik akhir API berstruktur dan boleh diaudit di mana aplikasi mendedahkan data dan alat tertentu melalui skema pratetap. Sebaliknya, automasi GUI ialah mekanisme sandaran visual yang membaca piksel skrin melalui OCR dan menyuntik input sentuhan sintetik, berinteraksi dengan antara muka aplikasi secara terus tanpa memerlukan titik akhir API tersuai.
Bagaimanakah mekanisme menarik diri SAEP beroperasi selepas tempoh notis awam?
Walaupun tempoh ulasan awam tiga puluh hari permulaan berakhir pada 14 Oktober 2026, rangka kerja SAEP mengekalkan saluran menarik diri yang berterusan. Pembangun boleh menyerahkan pengisytiharan penolakan pada bila-bila masa melalui konfigurasi teknikal atau borang aplikasi platform. Platform ini memproses permintaan dalam masa tiga hari perniagaan dan mengemas kini daftar penolakan rasminya setiap minggu pada hari Rabu.

Implikasi Praktikal & Tinjauan Masa Depan

Tindak balas industri terhadap pelancaran SAEP Pembantu Telefon Doubao mengetengahkan cabaran penentu untuk pengkomputeran ambien: automasi tugas yang diarahkan pengguna tidak boleh memintas keselamatan dan seni bina perniagaan ekosistem aplikasi moden. Walaupun model multimodal secara teknikal boleh mentafsir dan berinteraksi dengan antara muka grafik sewenang-wenangnya, perisian perusahaan memerlukan persetujuan eksplisit, identiti yang boleh disahkan, dan sempadan liabiliti yang jelas sebelum memberikan akses pelaksanaan.

Untuk pembangun mudah alih dan arkitek keselamatan, laluan ke hadapan terletak pada kerjasama peringkat protokol yang berstruktur berbanding simulasi visual yang tidak diuruskan. Walaupun automasi GUI menawarkan sandaran sementara untuk tugas utiliti mudah, integrasi perusahaan yang tahan lama akan semakin berpusat pada protokol ejen yang disahkan, skop kebenaran yang eksplisit, and pemeliharaan keadaan sebelah pelayan yang kukuh. Organisasi kejuruteraan yang menetapkan pengisytiharan niat yang jelas hari ini akan berada pada kedudukan terbaik untuk mengimbas kemudahan automasi dengan perlindungan data yang ketat dalam ekonomi ejen yang sedang muncul.

Rujukan

Share this article