A3: Arena de Agentes Android para Agentes de Interface Gráfica Móvel

A3: Android Agent Arena for Mobile GUI Agents

January 2, 2025

Autores: Yuxiang Chai, Hanhao Li, Jiayu Zhang, Liang Liu, Guozhi Wang, Shuai Ren, Siyuan Huang, Hongsheng Li

cs.AI

Resumo

Agentes de IA tornaram-se cada vez mais prevalentes nos últimos anos, impulsionados por avanços significativos no campo dos grandes modelos de linguagem (LLMs). Agentes de GUI móvel, um subconjunto de agentes de IA, são projetados para realizar tarefas autonomamente em dispositivos móveis. Embora inúmeros estudos tenham introduzido agentes, conjuntos de dados e benchmarks para avançar na pesquisa de agentes de GUI móvel, muitos conjuntos de dados existentes focam em avaliações de quadros estáticos e falham em fornecer uma plataforma abrangente para avaliar o desempenho em tarefas do mundo real e em ambientes não controlados. Para abordar essa lacuna, apresentamos o Android Agent Arena (A3), uma plataforma de avaliação inovadora. Ao contrário dos sistemas em ambientes não controlados existentes, o A3 oferece: (1) tarefas significativas e práticas, como recuperação de informações online em tempo real e instruções operacionais; (2) um espaço de ação maior e mais flexível, possibilitando a compatibilidade com agentes treinados em qualquer conjunto de dados; e (3) um processo de avaliação automatizado baseado em LLM em nível empresarial. O A3 inclui 21 aplicativos de terceiros gerais amplamente utilizados e 201 tarefas representativas de cenários de usuário comuns, fornecendo uma base robusta para avaliar agentes de GUI móvel em situações do mundo real e um novo processo de avaliação autônoma para menos trabalho humano e expertise em codificação. O projeto está disponível em https://yuxiangchai.github.io/Android-Agent-Arena/.

English

AI agents have become increasingly prevalent in recent years, driven by significant advancements in the field of large language models (LLMs). Mobile GUI agents, a subset of AI agents, are designed to autonomously perform tasks on mobile devices. While numerous studies have introduced agents, datasets, and benchmarks to advance mobile GUI agent research, many existing datasets focus on static frame evaluations and fail to provide a comprehensive platform for assessing performance on real-world, in-the-wild tasks. To address this gap, we present Android Agent Arena (A3), a novel evaluation platform. Unlike existing in-the-wild systems, A3 offers: (1) meaningful and practical tasks, such as real-time online information retrieval and operational instructions; (2) a larger, more flexible action space, enabling compatibility with agents trained on any dataset; and (3) automated business-level LLM-based evaluation process. A3 includes 21 widely used general third-party apps and 201 tasks representative of common user scenarios, providing a robust foundation for evaluating mobile GUI agents in real-world situations and a new autonomous evaluation process for less human labor and coding expertise. The project is available at https://yuxiangchai.github.io/Android-Agent-Arena/.