Alibaba Qwen UI Agent controla telefones reais em 150 aplicativos

O Qwen-UI-Agent consegue controlar de forma confiável telefones reais e interfaces de desktop? O relatório técnico da família de modelos Alibaba Qwen UI Agent demonstra uma abordagem abrangente para unificar ambientes móveis, de computadores, navegadores e de pesquisa avançada em um único agente de interface gráfica (GUI) de fundação. À medida que a inteligência artificial multimodal transita de comandos conversacionais para a execução direta, os modelos precisam interagir com interfaces gráficas de usuário (GUIs) de maneira confiável e com controle de estado em diversas plataformas. Historicamente, automatizar interações entre sistemas operacionais exigia scripts personalizados frágeis ou APIs específicas de plataforma. Hoje, como os sistemas centrados em visão conseguem analisar dinamicamente layouts visuais e executar comandos em lote, as equipes de engenharia estão avaliando como criar, testar e implantar agentes de GUI de fundação em ambientes de dispositivos reais.

Por que o Alibaba Qwen UI Agent é importante para a automação em dispositivos reais

Visão Geral

• O Qwen-UI-Agent atinge resultados de ponta em avaliações de uso móvel, pontuando 82,1% no MobileWorld, 92,2% no MobileWorld-Real e 97,5% no AndroidDaily.
• O modelo unifica ambientes móveis, de computadores, de navegadores e DeepSearch sob um espaço de ação coeso centrado em visão.
• A infraestrutura de desenvolvimento utiliza um cluster físico móvel em tempo real composto por mais de 100 smartphones que cobrem mais de 150 aplicativos de consumo para a criação, o treinamento e o teste de tarefas.

A evolução dos modelos de fundação multimodais destacou um desafio operacional: os modelos de linguagem de uso geral continuam desconectados das interfaces diretas do sistema operacional. Embora os assistentes conversacionais possam processar texto, analisar documentos e gerar código, eles não conseguem navegar de forma independente por aplicativos nativos de terceiros, executar logísticas em várias etapas ou coordenar fluxos de trabalho complexos de desktop sem integrações de API estruturadas.

Para solucionar essas barreiras de interface, o Qwen-UI-Agent trata as telas digitais como um ambiente de execução operacional unificado. Ao combinar o reconhecimento visual com a tomada de decisões sequenciais, o modelo interpreta layouts de interface em Android, Windows, macOS e navegadores web. O design do sistema e as métricas de avaliação estão documentados no relatório técnico oficial.

A importância do Qwen-UI-Agent reside na sua ênfase na execução em dispositivos reais. A equipe construiu um ambiente de dispositivos reais com mais de 100 smartphones físicos cobrindo mais de 150 aplicativos para construção de tarefas, coleta de trajetórias, treinamento e avaliação. Para medir o desempenho no mundo real, os pesquisadores introduziram o benchmark MobileWorld-Real, que contém mais de 400 tarefas em dispositivos reais em mais de 100 aplicativos. O pacote de benchmarks está detalhado na documentação do projeto MobileWorld. A equipe mantém materiais oficiais do projeto e recursos de código por meio do Repositório Oficial do Qwen-UI-Agent / MAI-UI, com demonstrações adicionais hospedadas na Página Oficial do Projeto Qwen-UI-Agent.

Como GUI, CLI e ações em lote funcionam juntas

Operar ambientes modernos de computadores e dispositivos móveis exige mais do que mapear coordenadas de ponteiro isoladas. Ao executar fluxos de trabalho em várias etapas, um agente deve avaliar os estados dos aplicativos, considerar alterações dinâmicas na renderização da interface e lidar com transições de interface de alta latência. Para ampliar a eficiência operacional, o Qwen-UI-Agent introduz um espaço de ação unificado que combina operações de ponteiro de GUI com a execução direta de Linha de Comando (CLI).

Em ambientes de computadores de desktop, os comandos de CLI e os cliques de GUI emergem como dois tipos de ação principais. O modelo pode emitir várias ações em um único turno de inferência, com aproximadamente 40% de suas saídas de ação estruturadas como comandos em lote.

O fluxo de ação híbrido

O diagrama abaixo ilustra como as entradas visuais são roteadas pelo espaço de ação unificado:

[Entrada de Visão da Tela]
        │
        ▼
[Modelo Qwen-UI-Agent] (Análise de layout direta & mapeamento visual)
        │
  ┌─────┴────────────────────────┐
  ▼                              ▼
[Operações de GUI] (Clicar, Arrastar) [Operações de CLI] (Comandos Bash)
  └─────┬────────────────────────┘
        ▼
[Execução em Lote] (Múltiplas ações emitidas por turno do modelo)

Ao intercalar operações de GUI com a execução de CLI, o agente conclui fluxos de trabalho que, de outra forma, exigiriam a alternância entre janelas separadas. Em tarefas entre dispositivos, o agente pode analisar metadados visuais de uma tela móvel e executar comandos de terminal para organizar diretórios locais ou manipular sistemas de arquivos diretamente.

Por que 100 telefones reais importam mais do que ambientes simulados (sandboxes)

Avaliar agentes de GUI multimodais em emuladores sintéticos geralmente introduz uma lacuna entre a simulação e a realidade. Ambientes sintéticos e de sandbox oferecem condições de avaliação escaláveis e reproduzíveis, mas não conseguem reproduzir totalmente os estados em mutação dos aplicativos, condições de contas, redes e falhas de interação encontradas em dispositivos reais. Quando implantados em hardware físico, os agentes frequentemente enfrentam atrasos imprevisíveis de animação, notificações push em segundo plano ou conectividade celular flutuante.

Para fechar essa lacuna, o pipeline de desenvolvimento incorpora um ambiente de teste móvel físico de mais de 100 smartphones executando mais de 150 aplicativos. Essa infraestrutura captura a latência real do dispositivo, variações de renderização e casos extremos de rede durante o treinamento e a avaliação.

O benchmark MobileWorld-Real resultante foi projetado para expor falhas que podem ficar ocultas em ambientes simulados e para avaliar o desempenho sob condições de dispositivos reais. Essa configuração reforça a importância de validar os modelos em relação ao comportamento real do sistema operacional do dispositivo.

Como o RL online dimensiona tarefas de GUI de longo prazo

A execução de fluxos de trabalho complexos envolvendo vários aplicativos exige planejamento sustentado ao longo de sequências estendidas. Tarefas complexas — como conciliar recibos de despesas em galerias móveis, gerar planilhas em um desktop e sincronizar arquivos com armazenamento em nuvem remoto — frequentemente exigem que os agentes executem trajetórias que ultrapassam 100 etapas. Na execução de longo prazo, um erro inicial de posicionamento pode fazer com que as etapas subsequentes falhem.

Para melhorar a conclusão de trajetórias, o pipeline de treinamento utiliza aprendizado por reforço (RL) online escalável. O sistema executa simulações em cerca de 10.000 ambientes paralelos simultaneamente para acelerar a geração de dados.

O framework de treinamento incorpora um flywheel de dados no estilo AutoResearch, onde os agentes constroem tarefas, geram ambientes de verificação, diagnosticam erros de execução e planejam iterações de treinamento subsequentes. Esse loop automatizado reduz a carga de trabalho de engenharia manual enquanto expande iterativamente a cobertura de resolução de problemas do modelo.

Segurança e controle humano em ações consequenciais

Conceder aos agentes controle direto sobre interfaces visuais e linhas de comando introduz riscos de segurança operacional. Ao contrário de interfaces conversacionais apenas de texto, os agentes de GUI que interagem com campos de entrada e controles do sistema podem acionar operações irreversíveis, como a execução de transações financeiras, modificação de configurações do sistema ou exclusão de arquivos.

Para gerenciar o risco, o espaço de ação do Qwen-UI-Agent inclui um mecanismo ask_user. Esse design permite que o agente pouse a execução e solicite a confirmação explícita do usuário antes de prosseguir com ações sensíveis ou consequenciais, como autorizar pagamentos, conceder permissões ou excluir registros.

Quando o agente detecta fluxos de trabalho sensíveis, ele apresenta sua sequência planejada e devolve o controle ao usuário. Esse mecanismo de humano no circuito (human-in-the-loop) garante que o operador mantenha a supervisão sobre decisões críticas. Os autores observam que o desenvolvimento de benchmarks de segurança mais sistemáticos e objetivos de verificação formal continua sendo uma área ativa de pesquisa.

O que os desenvolvedores precisam antes de implantar agentes de GUI

A implantação da arquitetura Alibaba Qwen UI Agent em ambientes práticos exige a avaliação de limites de segurança, confiabilidade de execução e monitoramento de infraestrutura. Como os agentes de fundação visual interagem diretamente com interfaces gráficas em vários aplicativos sem exigir APIs dedicadas por aplicativo, os desenvolvedores devem estabelecer salvaguardas em nível de sistema.

Primeiro, as equipes de engenharia devem definir limites de permissão. Quando os agentes estão autorizados a executar comandos de terminal, a execução deve ocorrer em runtimes isolados e sem privilégios para evitar que conteúdos visuais não confiáveis disparem a execução não autorizada de shell nos sistemas host.

Segundo, as equipes devem implementar a recuperação de erros com controle de estado. Como os aplicativos do mundo real sofrem com atrasos de renderização e alterações de interface, a camada de suporte do agente deve monitorar a saúde da execução, detectar fluxos de trabalho travados e dar suporte a mecanismos de reversão para manter a integridade das transações.

Gerenciando a transferência de contexto entre limites de aplicativos

Os fluxos de trabalho com múltiplos aplicativos demonstrados no Qwen-UI-Agent também refletem um desafio mais amplo de design de produtos: o contexto da tarefa precisa cada vez mais sobreviver a transições entre aplicativos independentes e ambientes de execução. Nos runtimes de agentes, essa continuidade é mantida por meio do histórico de interações e da camada de suporte que preserva o contexto e o estado da tarefa em aplicativos pré-instalados, dispositivos e ambientes de execução.

A distribuição de aplicativos móveis introduz um problema arquitetônico adjacente quando a jornada de um agente ou usuário aponta para um aplicativo que ainda não está instalado no dispositivo. Nesses cenários, a transferência normal de contexto dentro do aplicativo é interrompida pela barreira de instalação da loja de aplicativos. Arquiteturas de links móveis especializados, como o OpoInstall, resolvem isso fornecendo recursos de deferred deep linking (deep linking diferido) e passagem de parâmetros projetados para restaurar os parâmetros elegíveis de campanha, destino ou indicação no primeiro lançamento do aplicativo após a instalação. Os dois mecanismos resolvem problemas técnicos diferentes em diferentes estágios do ciclo de vida, mas ambos destacam a crescente necessidade de continuidade de contexto confiável em limites de aplicativos fragmentados.

Principais conclusões para equipes de engenharia

A transição da IA multimodal em direção a agentes de GUI de fundação marca uma mudança da avaliação estática de comandos para a execução em dispositivos reais em vários sistemas operacionais. À medida que os agentes ganham a capacidade de intercalar cliques visuais com instruções de linha de comando, as arquiteturas de software devem se adaptar para dar suporte a fluxos de interação autônomos e de longo prazo.

As equipes de engenharia que se preparam para implantar agentes de GUI devem priorizar a confiabilidade em nível de sistema em detrimento de métricas brutas de benchmark. A construção de implantações resilientes exige o estabelecimento de suportes de agente robustos, a definição de limites de permissão de privilégio mínimo, a implementação de mecanismos de reversão de transações e a integração de confirmação humana no circuito (ask_user) para ações consequenciais. Ao projetar soluções que consideram a instabilidade do ambiente e o gerenciamento de estado, as organizações podem implantar agentes de GUI de fundação com salvaguardas operacionais mais fortes.

Referências

• Zhou et al. Relatório Técnico do Qwen-UI-Agent: Rumo a Agentes de GUI de Fundação Centrados no Mundo Real de Próxima Geração. https://arxiv.org/abs/2607.28227

• Kong et al. MobileWorld: Benchmarking de Agentes Móveis Autônomos em Ambientes Interativos entre Agente e Usuário e Aprimorados por MCP. https://tongyi-mai.github.io/MobileWorld/

• Equipe Tongyi-MAI. Repositório Oficial do Qwen-UI-Agent / MAI-UI. https://github.com/Tongyi-MAI/MAI-UI

• Equipe MAI-UI. Página Oficial do Projeto Qwen-UI-Agent. https://tongyi-mai.github.io/Qwen-UI-Agent/

• OpoInstall. Como implementar um SDK de rastreamento de indicações com Deferred Deep Linking e atribuição de instalações. https://www.opoinstall.com/blog/referral-tracking-sdk-deferred-deep-linking