Ejen UI Qwen Alibaba Mengawal Telefon Sebenar Merentas 150 Aplikasi

Bolehkah Qwen-UI-Agent mengawal telefon sebenar dan antara muka desktop dengan boleh diharap? Laporan teknikal untuk keluarga model Ejen UI Qwen Alibaba menunjukkan pendekatan komprehensif untuk menyatukan persekitaran mudah alih, komputer, pelayar web, dan penyelidikan mendalam di bawah satu ejen GUI asas tunggal. Semasa kecerdasan buatan multimodal beralih daripada gesaan perbualan kepada pelaksanaan langsung, model mesti berinteraksi dengan antara muka pengguna grafik (GUI) dalam cara yang boleh diharap dan mengekalkan status merentas pelbagai platform. Dari segi sejarah, mengautomasikan interaksi merentas sistem pengendalian memerlukan skrip tersuai yang rapuh atau API khusus platform. Hari ini, kerana sistem berpusatkan penglihatan boleh menghurai susun atur visual secara dinamik dan melaksanakan arahan kelompok, pasukan kejuruteraan sedang menilai cara membina, menguji, dan melancarkan ejen GUI asas dalam persekitaran peranti sebenar.

Mengapa Ejen UI Qwen Alibaba Penting untuk Automasi Peranti Sebenar

Sekilas Pandang

• Qwen-UI-Agent mencapai keputusan cemerlang pada penilaian penggunaan mudah alih, mencatatkan 82.1% pada MobileWorld, 92.2% pada MobileWorld-Real, dan 97.5% pada AndroidDaily.
• Model ini menyatukan persekitaran mudah alih, komputer, pelayar web, dan DeepSearch di bawah ruang tindakan berpusatkan penglihatan yang kohesif.
• Infrastruktur pembangunan menggunakan kelompok mudah alih fizikal langsung yang merangkumi lebih 100 telefon pintar merentas 150+ aplikasi pengguna untuk penciptaan tugas, latihan, dan ujian.

Evolusi model asas multimodal telah menyerlahkan cabaran operasi: model bahasa tujuan am kekal terpisah daripada antara muka sistem pengendalian langsung. Walaupun pembantu perbualan boleh memproses teks, menganalisis dokumen, dan menjana kod, mereka tidak boleh menavigasi aplikasi asli pihak ketiga secara bebas, melaksanakan logistik pelbagai langkah, atau menyelaras aliran kerja desktop yang kompleks tanpa integrasi API berstruktur.

Untuk menangani sempadan antara muka ini, Qwen-UI-Agent menganggap skrin digital sebagai masa jalan operasi yang bersatu. Dengan menggabungkan pembumian visual dengan pembuatan keputusan berurutan, model ini mentafsirkan susun atur antara muka merentas Android, Windows, macOS, dan pelayar web. Reka bentuk sistem dan metrik penilaian didokumenkan dalam laporan teknikal rasmi.

Kepentingan Qwen-UI-Agent terletak pada penekanannya terhadap pelaksanaan peranti sebenar. Pasukan tersebut membina persekitaran peranti sebenar yang merangkumi 100+ telefon pintar fizikal merentas 150+ aplikasi untuk pembinaan tugas, pengumpulan trajektori, latihan, dan penilaian. Untuk mengukur prestasi dunia sebenar, para penyelidik memperkenalkan penanda aras MobileWorld-Real, yang mengandungi 400+ tugas peranti sebenar merentas 100+ aplikasi. Suite penanda aras ini diperincikan dalam dokumentasi projek MobileWorld. Pasukan ini mengekalkan bahan projek rasmi dan sumber kod melalui Repositori Rasmi Qwen-UI-Agent / MAI-UI, dengan demo tambahan dihoskan pada Halaman Projek Rasmi Qwen-UI-Agent.

Bagaimana GUI, CLI, dan Tindakan Kelompok Berkerjasama

Mengendalikan persekitaran komputer dan mudah alih moden memerlukan lebih daripada sekadar memetakan koordinat penunjuk yang terpencil. Apabila melaksanakan aliran kerja pelbagai langkah, ejen mesti menilai status aplikasi, mengambil kira perubahan paparan UI dinamik, dan mengendalikan peralihan antara muka latensi tinggi. Untuk meluaskan kecekapan operasi, Qwen-UI-Agent memperkenalkan ruang tindakan bersatu yang menggabungkan operasi penunjuk GUI dengan pelaksanaan Antara Muka Baris Perintah (CLI) secara langsung.

Dalam persekitaran komputer desktop, arahan CLI dan klik GUI muncul sebagai dua jenis tindakan utama. Model boleh mengeluarkan berbilang tindakan dalam satu pusingan inferens, dengan kira-kira 40% daripada output tindakannya berstruktur sebagai arahan kelompok.

Aliran Tindakan Hibrid

Rajah di bawah menggambarkan cara input visual disalurkan melalui ruang tindakan bersatu:

[Screen Vision Input]
        │
        ▼
[Qwen-UI-Agent Model] (Direct layout parsing & grounding)
        │
  ┌─────┴────────────────────────┐
  ▼                              ▼
[GUI Operations] (Click, Drag)  [CLI Operations] (Bash Commands)
  └─────┬────────────────────────┘
        ▼
[Batched Execution] (Multiple actions emitted per model turn)

Dengan menyelang-selikan operasi GUI dengan pelaksanaan CLI, ejen melengkapkan aliran kerja yang sebaliknya memerlukan peralihan antara tetingkap yang berasingan. Dalam tugas merentas peranti, ejen boleh menghurai metadata visual daripada skrin mudah alih dan menjalankan arahan terminal untuk menyusun direktori tempatan atau memanipulasi sistem fail secara langsung.

Mengapa 100 Telefon Sebenar Lebih Penting daripada Persekitaran Uji Terpencil (Sandbox) yang Disimulasi

Menilai ejen GUI multimodal dalam emulator sintetik sering memperkenalkan jurang simulasi ke dunia sebenar. Persekitaran sintetik dan uji terpencil menyediakan syarat penilaian yang boleh skala dan boleh dihasilkan semula, tetapi ia tidak dapat menghasilkan semula sepenuhnya status aplikasi yang berubah, keadaan akaun, rangkaian, dan kegagalan interaksi yang dihadapi pada peranti langsung. Apabila dilancarkan pada perkakasan fizikal, ejen kerap menghadapi kelewatan animasi yang tidak dapat diramalkan, pemberitahuan tolak latar belakang, atau sambungan selular yang tidak menentu.

Untuk merapatkan jurang ini, saluran paip pembangunan menggabungkan tempat ujian mudah alih fizikal yang terdiri daripada lebih 100 telefon pintar yang menjalankan lebih 150 aplikasi. Infrastruktur ini menangkap latensi peranti tulen, variasi paparan, dan kes terpencil rangkaian semasa latihan dan penilaian.

Penanda aras MobileWorld-Real yang terhasil direka untuk mendedahkan kegagalan yang mungkin disembunyikan oleh persekitaran yang disimulasi dan untuk menilai prestasi di bawah keadaan peranti sebenar. Persediaan ini menggariskan nilai pengesahan model terhadap tingkah laku sistem pengendalian peranti sebenar.

Bagaimana Pembelajaran Pengukuhan Dalam Talian (Online RL) Menskalakan Tugas GUI Jangka Panjang

Melaksanakan aliran kerja berbilang aplikasi yang kompleks memerlukan perancangan berterusan merentas urutan yang lanjutan. Tugas yang kompleks—seperti menyelaraskan resit perbelanjaan merentas galeri mudah alih, menjana lembaran kerja pada desktop, dan menyegerakkan fail ke storan awan jauh—sering memerlukan ejen melaksanakan trajektori yang melebihi 100 langkah. Dalam pelaksanaan jangka panjang, ralat kedudukan awal boleh menyebabkan langkah hiliran gagal.

Untuk menambah baik penyiapan trajektori, saluran paip latihan menggunakan pembelajaran pengukuhan (RL) dalam talian yang boleh skala. Sistem ini menjalankan pelancaran merentas kira-kira 10,000 persekitaran selari secara serentak untuk mempercepatkan penjanaan data.

Rangka kerja latihan menggabungkan roda tenaga data gaya AutoResearch di mana ejen membina tugas, menjana persekitaran pengesahan, mendiagnosis ralat pelaksanaan, dan merancang lelaran latihan seterusnya. Gelung automatik ini mengurangkan overhed kejuruteraan manual sambil meluaskan liputan penyelesaian masalah model secara beransur-ansur.

Keselamatan dan Kawalan Manusia dalam Tindakan Berkonsekuens

Memberikan ejen kawalan langsung ke atas antara muka visual dan baris perintah memperkenalkan risiko keselamatan operasi. Berbanding antara muka perbualan teks sahaja, ejen GUI yang berinteraksi dengan medan input dan kawalan sistem boleh mencetuskan operasi yang tidak boleh rückkehr (tidak boleh ditarik balik), seperti melaksanakan transaksi kewangan, mengubah suai konfigurasi sistem, atau memadamkan fail.

Untuk menguruskan risiko, ruang tindakan Qwen-UI-Agent menyertakan mekanisme ask_user. Reka bentuk ini membolehkan ejen menjeda pelaksanaan dan meminta pengesahan pengguna yang jelas sebelum meneruskan tindakan sensitif atau berkonsekuens, seperti memberi kebenaran pembayaran, memberikan keizinan, atau memadamkan rekod.

Apabila ejen mengesan aliran kerja sensitif, ia membentangkan urutan yang dirancang dan menyerahkan semula kawalan kepada pengguna. Mekanisme penglibatan manusia dalam gelung ini memastikan pengendali mengekalkan pengawasan terhadap keputusan kritikal. Pengarang mencatatkan bahawa membangunkan penanda aras keselamatan yang lebih sistematik dan objektif pengesahan formal kekal sebagai bidang penyelidikan yang sedang berjalan.

Perkara yang Perlu Disediakan oleh Pembangun Sebelum Melancarkan Ejen GUI

Melancarkan seni bina Ejen UI Qwen Alibaba dalam persekitaran praktikal memerlukan penilaian sempadan keselamatan, kebolehpercayaan pelaksanaan, dan pemantauan infrastruktur. Kerana ejen asas visual berinteraksi secara langsung dengan antara muka grafik merentas aplikasi tanpa memerlukan API khusus setiap aplikasi, pembangun mesti mewujudkan pengamanan peringkat sistem.

Pertama, pasukan kejuruteraan mesti menentukan sempadan keizinan. Apabila ejen diberi kuasa untuk menjalankan arahan terminal, pelaksanaan mesti berlaku dalam masa jalan yang diasingkan (sandbox) dan tidak mempunyai keistimewaan tinggi untuk mengelakkan kandungan visual yang tidak dipercayai daripada mencetuskan pelaksanaan shell yang tidak dibenarkan pada sistem hos.

Kedua, pasukan mesti melaksanakan pemulihan ralat yang mengekalkan status. Kerana aplikasi dunia sebenar mengalami kelewatan paparan dan perubahan antara muka, lapisan abah-abah ejen mesti memantau kesihatan pelaksanaan, mengesan aliran kerja yang tergendala, dan menyokong mekanisme gulung semula (rollback) untuk mengekalkan integriti transaksi.

Menguruskan Peralihan Konteks Merentas Sempadan Aplikasi

Aliran kerja berbilang aplikasi yang ditunjukkan dalam Qwen-UI-Agent juga mencerminkan cabaran reka bentuk produk yang lebih luas: konteks tugas semakin perlu bertahan dalam peralihan antara aplikasi bebas dan persekitaran pelaksanaan. Dalam masa jalan ejen, kesinambungan ini dikekalkan melalui sejarah interaksi dan lapisan abah-abah yang memelihara konteks dan status tugas merentas aplikasi pasang siap, peranti, dan persekitaran pelaksanaan.

Pengedaran aplikasi mudah alih memperkenalkan masalah hiasan seni bina apabila perjalanan ejen atau pengguna menghala ke arah aplikasi yang belum dipasang pada peranti. Dalam senario sedemikian, peralihan konteks dalam apl biasa terganggu oleh sempadan pemasangan gedung aplikasi. Seni bina pautan mudah alih khusus, seperti OpoInstall, menangani perkara ini dengan menyediakan keupayaan pautan mendalam tertunda (deferred deep linking) dan laluan lulus parameter yang direka bentuk untuk memulihkan kempen, destinasi, atau parameter rujukan yang layak semasa pelancaran pasca pemasangan pertama aplikasi tersebut. Kedua-dua mekanisme menyelesaikan masalah teknikal yang berbeza merentas peringkat kitaran hayat yang berbeza, tetapi kedua-duanya menyerlahkan keperluan yang semakin meningkat untuk kesinambungan konteks yang boleh diharap merentas sempadan aplikasi yang berpecah-belah.

Pengajaran Utama untuk Pasukan Kejuruteraan

Peralihan AI multimodal ke arah ejen GUI asas menandakan anjakan daripada penilaian gesaan statik kepada pelaksanaan peranti sebenar merentas sistem pengendalian. Apabila ejen memperoleh keupayaan untuk menyelang-selikan klik visual dengan arahan baris perintah, seni bina perisian mesti menyesuaikan diri untuk menyokong aliran interaksi autonomi jangka panjang.

Pasukan kejuruteraan yang bersiap sedia untuk melancarkan ejen GUI harus mengutamakan kebolehpercayaan peringkat sistem berbanding metrik penanda aras mentah. Membina pelancaran yang berdaya tahan memerlukan pewujudan abah-abah ejen yang kukuh, pentakrifan sempadan keizinan keistimewaan minimum, pelaksanaan mekanisme gulung semula transaksi, and penggabungan pengesahan penglibatan manusia dalam gelung (ask_user) untuk tindakan berkonsekuens. Dengan merangka reka bentuk di sekitar ketidakstabilan persekitaran dan pengurusan status, organisasi boleh melancarkan ejen GUI asas dengan pengamanan operasi yang lebih kukuh.

Rujukan

• Zhou et al. Qwen-UI-Agent Technical Report: Toward Next-Generation Real-World Centric Foundation GUI Agents. https://arxiv.org/abs/2607.28227

• Kong et al. MobileWorld: Benchmarking Autonomous Mobile Agents in Agent-User Interactive and MCP-Augmented Environments. https://tongyi-mai.github.io/MobileWorld/

• Tongyi-MAI Team. Qwen-UI-Agent / MAI-UI Official Repository. https://github.com/Tongyi-MAI/MAI-UI

• MAI-UI Team. Qwen-UI-Agent Official Project Page. https://tongyi-mai.github.io/Qwen-UI-Agent/

• OpoInstall. How to Implement a Referral Tracking SDK with Deferred Deep Linking and Install Attribution. https://www.opoinstall.com/blog/referral-tracking-sdk-deferred-deep-linking