A3: モバイルGUIエージェント向けのAndroidエージェントアリーナ

A3: Android Agent Arena for Mobile GUI Agents

January 2, 2025

著者: Yuxiang Chai, Hanhao Li, Jiayu Zhang, Liang Liu, Guozhi Wang, Shuai Ren, Siyuan Huang, Hongsheng Li

cs.AI

要旨

近年、大規模言語モデル（LLM）分野の重要な進歩により、AIエージェントがますます普及しています。モバイルGUIエージェントは、モバイルデバイス上でタスクを自律的に実行するよう設計されたAIエージェントのサブセットです。多くの研究がエージェント、データセット、およびベンチマークを導入してモバイルGUIエージェントの研究を推進していますが、既存のデータセットの多くは静的フレーム評価に焦点を当てており、実世界のタスクに対するパフォーマンスを包括的に評価するためのプラットフォームを提供していません。このギャップを埋めるために、私たちはAndroid Agent Arena（A3）という新しい評価プラットフォームを提案します。既存の実世界システムとは異なり、A3は次のような特長を備えています：（1）リアルタイムのオンライン情報検索や操作手順など、意味のある実用的なタスク；（2）より大きく柔軟なアクションスペースで、どのデータセットでトレーニングされたエージェントとも互換性があります；（3）自動化されたビジネスレベルのLLMベースの評価プロセス。A3には、一般的に使用されている21のサードパーティアプリと、一般的なユーザシナリオを代表する201のタスクが含まれており、実世界の状況でモバイルGUIエージェントを評価するための堅固な基盤と、より少ない人的労力とコーディングの専門知識での新しい自律評価プロセスを提供しています。プロジェクトはhttps://yuxiangchai.github.io/Android-Agent-Arena/ で入手可能です。

English

AI agents have become increasingly prevalent in recent years, driven by significant advancements in the field of large language models (LLMs). Mobile GUI agents, a subset of AI agents, are designed to autonomously perform tasks on mobile devices. While numerous studies have introduced agents, datasets, and benchmarks to advance mobile GUI agent research, many existing datasets focus on static frame evaluations and fail to provide a comprehensive platform for assessing performance on real-world, in-the-wild tasks. To address this gap, we present Android Agent Arena (A3), a novel evaluation platform. Unlike existing in-the-wild systems, A3 offers: (1) meaningful and practical tasks, such as real-time online information retrieval and operational instructions; (2) a larger, more flexible action space, enabling compatibility with agents trained on any dataset; and (3) automated business-level LLM-based evaluation process. A3 includes 21 widely used general third-party apps and 201 tasks representative of common user scenarios, providing a robust foundation for evaluating mobile GUI agents in real-world situations and a new autonomous evaluation process for less human labor and coding expertise. The project is available at https://yuxiangchai.github.io/Android-Agent-Arena/.