AndroidLab : Entraînement et évaluation systématique de Agents Autonomes Android

AndroidLab: Training and Systematic Benchmarking of Android Autonomous Agents

October 31, 2024

Auteurs: Yifan Xu, Xiao Liu, Xueqiao Sun, Siyi Cheng, Hao Yu, Hanyu Lai, Shudan Zhang, Dan Zhang, Jie Tang, Yuxiao Dong

cs.AI

Résumé

Les agents autonomes sont devenus de plus en plus importants pour interagir avec le monde réel. Les agents Android, en particulier, ont récemment été mentionnés fréquemment comme méthode d'interaction. Cependant, les études existantes pour former et évaluer les agents Android manquent de recherche systématique sur les modèles open-source et closed-source. Dans ce travail, nous proposons AndroidLab comme un cadre systématique pour les agents Android. Il comprend un environnement opérationnel avec différentes modalités, un espace d'action et un banc d'essai reproductible. Il prend en charge à la fois les grands modèles de langage (LLMs) et les modèles multimodaux (LMMs) dans le même espace d'action. Le banc d'essai AndroidLab comprend des appareils virtuels Android prédéfinis et 138 tâches à travers neuf applications construites sur ces appareils. En utilisant l'environnement AndroidLab, nous développons un ensemble de données d'instructions Android et formons six LLMs et LMMs open-source, augmentant les taux de réussite moyens de 4,59% à 21,50% pour les LLMs et de 1,93% à 13,28% pour les LMMs. AndroidLab est open-source et disponible publiquement sur https://github.com/THUDM/Android-Lab.

English

Autonomous agents have become increasingly important for interacting with the real world. Android agents, in particular, have been recently a frequently-mentioned interaction method. However, existing studies for training and evaluating Android agents lack systematic research on both open-source and closed-source models. In this work, we propose AndroidLab as a systematic Android agent framework. It includes an operation environment with different modalities, action space, and a reproducible benchmark. It supports both large language models (LLMs) and multimodal models (LMMs) in the same action space. AndroidLab benchmark includes predefined Android virtual devices and 138 tasks across nine apps built on these devices. By using the AndroidLab environment, we develop an Android Instruction dataset and train six open-source LLMs and LMMs, lifting the average success rates from 4.59% to 21.50% for LLMs and from 1.93% to 13.28% for LMMs. AndroidLab is open-sourced and publicly available at https://github.com/THUDM/Android-Lab.