A3: Arena degli Agenti Android per Agenti GUI Mobili

A3: Android Agent Arena for Mobile GUI Agents

January 2, 2025

Autori: Yuxiang Chai, Hanhao Li, Jiayu Zhang, Liang Liu, Guozhi Wang, Shuai Ren, Siyuan Huang, Hongsheng Li

cs.AI

Abstract

Gli agenti di intelligenza artificiale sono diventati sempre più diffusi negli ultimi anni, trainati da significativi progressi nel campo dei grandi modelli linguistici (LLM). Gli agenti GUI mobili, una sotto-categoria degli agenti di intelligenza artificiale, sono progettati per eseguire autonomamente compiti su dispositivi mobili. Mentre numerosi studi hanno introdotto agenti, set di dati e benchmark per far progredire la ricerca sugli agenti GUI mobili, molti set di dati esistenti si concentrano su valutazioni di frame statici e non forniscono una piattaforma completa per valutare le prestazioni su compiti reali, in condizioni reali. Per colmare questa lacuna, presentiamo Android Agent Arena (A3), una nuova piattaforma di valutazione. A differenza dei sistemi in condizioni reali esistenti, A3 offre: (1) compiti significativi e pratici, come il recupero di informazioni online in tempo reale e istruzioni operative; (2) uno spazio d'azione più ampio e flessibile, consentendo la compatibilità con agenti addestrati su qualsiasi set di dati; e (3) un processo di valutazione automatizzato basato su LLM a livello aziendale. A3 include 21 app di terze parti generalmente utilizzate e 201 compiti rappresentativi di scenari utente comuni, fornendo una solida base per valutare gli agenti GUI mobili in situazioni reali e un nuovo processo di valutazione autonomo per ridurre il lavoro umano e l'esperienza nella codifica. Il progetto è disponibile su https://yuxiangchai.github.io/Android-Agent-Arena/.

English

AI agents have become increasingly prevalent in recent years, driven by significant advancements in the field of large language models (LLMs). Mobile GUI agents, a subset of AI agents, are designed to autonomously perform tasks on mobile devices. While numerous studies have introduced agents, datasets, and benchmarks to advance mobile GUI agent research, many existing datasets focus on static frame evaluations and fail to provide a comprehensive platform for assessing performance on real-world, in-the-wild tasks. To address this gap, we present Android Agent Arena (A3), a novel evaluation platform. Unlike existing in-the-wild systems, A3 offers: (1) meaningful and practical tasks, such as real-time online information retrieval and operational instructions; (2) a larger, more flexible action space, enabling compatibility with agents trained on any dataset; and (3) automated business-level LLM-based evaluation process. A3 includes 21 widely used general third-party apps and 201 tasks representative of common user scenarios, providing a robust foundation for evaluating mobile GUI agents in real-world situations and a new autonomous evaluation process for less human labor and coding expertise. The project is available at https://yuxiangchai.github.io/Android-Agent-Arena/.