AlibabaのQwen UI Agent、150種類以上のアプリで実機を制御

Qwen-UI-Agentは、実機のスマートフォンやデスクトップインターフェースを確実に制御できるでしょうか？AlibabaのQwen UI Agentモデルファミリーに関する技術レポートでは、モバイル、コンピューター、ブラウザー、ディープリサーチ環境を単一のGUI基盤エージェントに統合するための包括的なアプローチが示されています。マルチモーダルAIが会話型プロンプトから直接実行へと移行するにつれ、モデルは多様なプラットフォーム上で確実かつステートフルな方法でグラフィカルユーザーインターフェース（GUI）と対話する必要があります。従来、オペレーティングシステム間の自動化インタラクションには、壊れやすいカスタムスクリプトやプラットフォーム固有のAPIが必要でした。現在では、視覚中心システムがビジュアルレイアウトを動的に解析し、一括化されたコマンドを実行できるため、エンジニアリングチームは実機環境におけるGUI基盤エージェントの構築、テスト、デプロイ方法を評価しています。

実機自動化においてAlibaba Qwen UI Agentが重要である理由

概要

Qwen-UI-Agentはモバイル関連の評価において最先端の結果を達成しており、MobileWorldで82.1%、MobileWorld-Realで92.2%、AndroidDailyで97.5%のスコアを記録しています。
モバイル、コンピューター、ブラウザー、DeepSearchの各環境を、統合された視覚中心のアクションスペースの下に統合します。
開発インフラストラクチャには、100台以上のスマートフォンで構成され、150以上のコンシューマー向けアプリを網羅するライブ物理モバイルクラスターがタスク作成、トレーニング、テスト用に活用されています。

マルチモーダル基盤モデルの進化により、汎用言語モデルがOSの直接的なインターフェースから切り離されたままであるという運用の課題が浮き彫りになってきました。会話型アシスタントはテキストの処理、ドキュメントの分析、コードの生成を行えますが、構造化されたAPI統合なしでは、サードパーティ製ネイティブアプリの独立した操作、多段階のロジスティクスの実行、複雑なデスクトップワークフローの調整を行うことはできません。

こうしたインターフェースの境界に対処するため、Qwen-UI-Agentはデジタル画面を統一された運用ランタイムとして扱います。ビジュアルグラウンディングと逐次的な意思決定を組み合わせることで、Android、Windows、macOS、ウェブブラウザーにわたるインターフェースレイアウトを解釈します。システム設計と評価指標については、公式の技術レポートに文書化されています。

8つの異なるGUIベンチマークおよび比較ベースラインにおけるQwen-UI-Agentのパフォーマンス

Qwen-UI-Agentの重要性は、実機での実行を重視している点にあります。開発チームは、タスク構築、軌跡収集、トレーニング、評価のために、100台以上の物理スマートフォンと150以上のアプリを網羅する実機環境を構築しました。現実世界でのパフォーマンスを測定するため、研究者らは100以上のアプリにわたる400以上の実機タスクを含むMobileWorld-Realベンチマークを導入しました。ベンチマークスイートの詳細については、MobileWorldプロジェクトのドキュメントに記載されています。また、公式のプロジェクト資料およびコードリソースはQwen-UI-Agent / MAI-UI公式リポジトリで維持されており、追加のデモはQwen-UI-Agent公式プロジェクトページでホストされています。

GUI、CLI、およびバッチアクションの連携方法

最新のコンピューターおよびモバイル環境の操作には、孤立したポインター座標のマッピング以上のことが求められます。多段階のワークフローを実行する際、エージェントはアプリケーションの状態を評価し、動的なUIレンダリングの変化を考慮し、高遅延のインターフェース遷移に対処する必要があります。運用効率を拡大するために、Qwen-UI-AgentはGUIポインター操作と直接的なコマンドラインインターフェース（CLI）の実行を組み合わせた、統一されたアクションスペースを導入しています。

デスクトップコンピューター環境では、CLIコマンドとGUIクリックが2つの主要なアクションタイプとして浮上します。このモデルは1回の推論ターンで複数のアクションを発行でき、アクション出力の約40%がバッチ化されたコマンドとして構造化されています。

ハイブリッドアクションフロー

以下の図は、視覚的入力がどのように統一されたアクションスペースを経由してルーティングされるかを示しています。

[画面の視覚入力]
        │
        ▼
[Qwen-UI-Agentモデル] (ダイレクトレイアウト解析とグラウンディング)
        │
  ┌─────┴────────────────────────┐
  ▼                              ▼
[GUI操作] (クリック、ドラッグ)  [CLI操作] (Bashコマンド)
  └─────┬────────────────────────┘
        ▼
[バッチ実行] (モデルの1ターンごとに複数アクションを発行)

GUI操作とCLI実行を交互に行うことで、エージェントは、従来であれば別々のウィンドウを切り替える必要があったワークフローを完了させます。クロスデバイスのタスクにおいて、エージェントはモバイル画面から視覚的メタデータを解析し、ターミナルコマンドを実行してローカルディレクトリを整理したり、ファイルシステムを直接操作したりすることができます。

多段階の検索および検証タスクを実行するAlibaba Tongyi Qianwenのビジュアルグラウンディングデモ

シミュレートされたサンドボックスよりも100台の実機が重要である理由

合成エミュレーターでマルチモーダルGUIエージェントを評価すると、多くの場合、シミュレーションと現実のギャップ（sim-to-real gap）が生じます。合成およびサンドボックス環境はスケーラブルで再現性のある評価条件を提供しますが、ライブデバイスで遭遇する変化するアプリケーション状態、アカウント条件、ネットワーク、インタラクションの不具合を完全に再現することはできません。物理ハードウェアにデプロイされた場合、エージェントは予測不可能なアニメーションの遅延、バックグラウンドのプッシュ通知、あるいは変動するモバイル接続に頻繁に直面します。

このギャップを埋めるため、開発パイプラインには、150以上のアプリを実行する100台以上のスマートフォンからなる物理モバイルテストベッドが組み込まれています。このインフラストラクチャにより、トレーニングおよび評価の際に、実際のデバイスのレイテンシ、レンダリングのバリエーション、およびネットワークのエッジケースが捉えられます。

結果として得られるMobileWorld-Realベンチマークは、シミュレートされた環境では隠されてしまう可能性のある障害を露呈させ、実機条件下でのパフォーマンスを評価するように設計されています。このセットアップは、実機のOS動作に対してモデルを検証することの価値を強調しています。

オンライン強化学習（RL）が長期的（ロングホライズン）なGUIタスクを拡張する方法

複雑なマルチアプリワークフローを実行するには、長期的なシーケンスにわたる持続的な計画が必要です。モバイルギャラリーでの経費レシートの照合、デスクトップでのスプレッドシートの生成、リモートクラウドストレージへのファイルの同期などの複雑なタスクでは、エージェントが100ステップを超える軌跡を実行する必要がしばしば生じます。ロングホライズンの実行では、初期のポジショニングエラーが後続のステップの失敗につながる可能性があります。

軌跡の完了率を向上させるため、トレーニングパイプラインにはスケーラブルなオンライン強化学習（RL）が活用されています。システムは約10,000の並列環境でロールアウトを同時に実行し、データ生成を加速させます。

トレーニングフレームワークには、AutoResearchスタイルのデータフライホイールが組み込まれており、エージェントがタスクを構築し、検証環境を生成し、実行エラーを診断し、後続のトレーニングイテレーションを計画します。この自動化されたループにより、手動によるエンジニアリングのオーバーヘッドが削減されると同時に、モデルの問題解決カバレッジが反復的に拡張されます。

一連のアクションにおける安全性と人間の制御

ビジュアルインターフェースやコマンドラインに対する直接的な制御をエージェントに与えることは、運用上のセキュリティリスクを伴います。テキストのみの会話型インターフェースとは異なり、入力フィールドやシステムコントロールと対話するGUIエージェントは、金融取引の実行、システム構成の変更、ファイルの削除などの取り返しのつかない操作を引き起こす可能性があります。

リスクを管理するため、Qwen-UI-Agentのアクションスペースにはask_userメカニズムが含まれています。この設計により、決済の承認、権限の付与、レコードの削除などの機密性の高いアクションや重大なアクションを続行する前に、エージェントの実行を一時停止し、ユーザーに明示的な確認を求めることができます。

エージェントが機密性の高いワークフローを検知すると、計画したシーケンスを提示し、制御をユーザーに返します。このヒューマン・イン・ザ・ループの仕組みにより、オペレーターが重要な意思決定に対する監督を維持できるようになります。著者らは、より体系的な安全性ベンチマークや形式検証の目標を開発することが、引き続き継続的な研究領域であると指摘しています。

GUIエージェントのデプロイ前に開発者が把握すべきこと

実環境にAlibaba Qwen UI Agentアーキテクチャをデプロイするには、セキュリティ境界、実行の信頼性、およびインフラストラクチャのモニタリングを評価する必要があります。ビジュアル基盤エージェントはアプリ固有の専用APIを必要とせず、アプリ全体のグラフィカルインターフェースと直接対話するため、開発者はシステムレベルの安全対策を確立する必要があります。

第一に、エンジニアリングチームは権限の境界を定義する必要があります。エージェントにターミナルコマンドの実行が許可されている場合、信頼されていない視覚的コンテンツがホストシステム上で不正なシェル実行を引き起こすのを防ぐため、実行はサンドボックス化された非特権ランタイム内で行われる必要があります。

第二に、チームはステートフルなエラーリカバリを実装する必要があります。実世界のアプリケーションではレンダリングの遅延やインターフェースの変更が発生するため、エージェントのハーネスレイヤーは実行の健全性を監視し、停止したワークフローを検出し、トランザクションの整合性を維持するためのロールバックメカニズムをサポートする必要があります。

複数のデスクトッププラットフォームとアプリにわたり複雑なマルチターンタスクを実行するQwen-UI-Agent

アプリケーション境界を越えたコンテキストハンドオフの管理

Qwen-UI-Agentで実証されたマルチアプリケーションワークフローは、より広範な製品設計上の課題も反映しています。それは、タスクのコンテキストが独立したアプリケーションや実行環境間の移行を生き延びる必要があるという点です。エージェントランタイムにおいて、この継続性は、インタラクション履歴と、プリインストールされたアプリ、デバイス、実行環境間でコンテキストとタスク状態を保持するハーネスレイヤーによって維持されます。

モバイルアプリの配布では、エージェントやユーザーのジャーニーがまだデバイスにインストールされていないアプリを指している場合に、隣接するアーキテクチャ上の問題が発生します。このようなシナリオでは、通常のアプリ内コンテキストハンドオフはアプリストアのインストール境界によって中断されます。OpoInstallのような専門的なモバイルリンキングアーキテクチャは、アプリのインストール後初回の起動時に、対象となるキャンペーン、デスティネーション、またはリファラルパラメータを復元するように設計されたディファードディープリンクおよびパラメータパススルー機能を提供することで、この問題に対処します。これら2つのメカニズムはライフサイクルの異なるステージで異なる技術的課題を解決しますが、どちらも断片化されたアプリケーション境界を越えた信頼性の高いコンテキストの継続性に対する高まる要件を浮き彫りにしています。

よくある質問 (FAQ)

Qwen-UI-Agentと前身であるMAI-UIの核心的な違いは何ですか？

Qwen-UI-AgentはMAI-UIプロジェクトの継続であり、従来のGUIエージェントの成果をモバイル、コンピューター、ブラウザー、DeepSearch環境にまたがるより広範な実世界基盤エージェントへと拡張したものです。統一されたGUI/CLIアクションスペース、バッチ実行、大規模な実機インフラストラクチャ、およびステートフルなクロスプラットフォームワークフローが追加されています。

エージェントはGUI操作と並行してどのようにCLIコマンドを実行しますか？

このモデルは、視覚的なポインタークリックと標準的なターミナルコマンドを交互に行う統一されたアクションスペースを活用します。デスクトップ環境では、エージェントはUI要素を解析し、コマンドラインインターフェースを開き、ファイルおよびシステムタスクを処理するためのシェルスクリプトを実行できます。これにより、純粋な視覚的ポイント＆クリックによるナビゲーションと比較して、必要な個別ステップの数を減らすことができます。

Qwen-UI-Agentはシミュレートされたサンドボックスなしで物理デバイス上で動作できますか？

はい。Qwen-UI-Agentは、実世界のコンシューマーアプリを実行する100台以上の接続されたスマートフォンからなる物理モバイルクラスターを使用してトレーニングおよび評価されました。MobileWorld-Realでの92.2%というスコアは、ベンチマークのライブデバイスアプリケーション条件における強力なパフォーマンスの証拠となります。

エンジニアリングチーム向けの主要なポイント

マルチモーダルAIから基盤GUIエージェントへの移行は、静的なプロンプト評価から、オペレーティングシステムにまたがる実機実行へのシフトを示しています。エージェントが視覚的クリックとコマンドライン命令を交互に行う能力を獲得するにつれて、ソフトウェアアーキテクチャはロングホライズンの自律的インタラクションフローをサポートするように適応する必要があります。

GUIエージェントのデプロイを準備しているエンジニアリングチームは、生のベンチマーク指標よりもシステムレベルの信頼性を優先すべきです。弾力性のあるデプロイを構築するには、堅牢なエージェントハーネスの確立、最小権限の権限境界の定義、トランザクションロールバックメカニズムの実装、および重大なアクションに対するヒューマン・イン・ザ・ループの確認（ask_user）の統合が求められます。環境の不安定性や状態管理を考慮して設計を行うことで、組織はより強力な運用上の安全対策を備えた基盤GUIエージェントをデプロイできます。

参考文献

Zhou et al. Qwen-UI-Agent Technical Report: Toward Next-Generation Real-World Centric Foundation GUI Agents. https://arxiv.org/abs/2607.28227
Kong et al. MobileWorld: Benchmarking Autonomous Mobile Agents in Agent-User Interactive and MCP-Augmented Environments. https://tongyi-mai.github.io/MobileWorld/
Tongyi-MAI Team. Qwen-UI-Agent / MAI-UI Official Repository. https://github.com/Tongyi-MAI/MAI-UI
MAI-UI Team. Qwen-UI-Agent Official Project Page. https://tongyi-mai.github.io/Qwen-UI-Agent/
OpoInstall. How to Implement a Referral Tracking SDK with Deferred Deep Linking and Install Attribution. https://www.opoinstall.com/blog/referral-tracking-sdk-deferred-deep-linking