AndroidLab: Training und systematisches Benchmarking von autonomen Android-Agenten

AndroidLab: Training and Systematic Benchmarking of Android Autonomous Agents

October 31, 2024

Autoren: Yifan Xu, Xiao Liu, Xueqiao Sun, Siyi Cheng, Hao Yu, Hanyu Lai, Shudan Zhang, Dan Zhang, Jie Tang, Yuxiao Dong

cs.AI

Zusammenfassung

Autonome Agenten sind zunehmend wichtig für die Interaktion mit der realen Welt geworden. Insbesondere Android-Agenten wurden in letzter Zeit häufig als Interaktionsmethode erwähnt. Allerdings fehlt es bestehenden Studien zur Schulung und Bewertung von Android-Agenten an systematischer Forschung sowohl bei Open-Source- als auch bei Closed-Source-Modellen. In dieser Arbeit schlagen wir AndroidLab als systematisches Framework für Android-Agenten vor. Es umfasst eine Betriebsumgebung mit verschiedenen Modalitäten, Aktionsraum und einem reproduzierbaren Benchmark. Es unterstützt sowohl große Sprachmodelle (LLMs) als auch multimodale Modelle (LMMs) im selben Aktionsraum. Der AndroidLab-Benchmark umfasst vordefinierte Android-Virtual Devices und 138 Aufgaben in neun Apps, die auf diesen Geräten erstellt wurden. Unter Verwendung der AndroidLab-Umgebung entwickeln wir einen Android-Instruktionsdatensatz und trainieren sechs Open-Source-LLMs und LMMs, wodurch die durchschnittlichen Erfolgsraten von 4,59 % auf 21,50 % für LLMs und von 1,93 % auf 13,28 % für LMMs gesteigert werden. AndroidLab ist Open Source und öffentlich unter https://github.com/THUDM/Android-Lab verfügbar.

English

Autonomous agents have become increasingly important for interacting with the real world. Android agents, in particular, have been recently a frequently-mentioned interaction method. However, existing studies for training and evaluating Android agents lack systematic research on both open-source and closed-source models. In this work, we propose AndroidLab as a systematic Android agent framework. It includes an operation environment with different modalities, action space, and a reproducible benchmark. It supports both large language models (LLMs) and multimodal models (LMMs) in the same action space. AndroidLab benchmark includes predefined Android virtual devices and 138 tasks across nine apps built on these devices. By using the AndroidLab environment, we develop an Android Instruction dataset and train six open-source LLMs and LMMs, lifting the average success rates from 4.59% to 21.50% for LLMs and from 1.93% to 13.28% for LMMs. AndroidLab is open-sourced and publicly available at https://github.com/THUDM/Android-Lab.