Mobile-Agent-E: Selbstentwickelnder mobiler Assistent für komplexe Aufgaben

Mobile-Agent-E: Self-Evolving Mobile Assistant for Complex Tasks

January 20, 2025

Autoren: Zhenhailong Wang, Haiyang Xu, Junyang Wang, Xi Zhang, Ming Yan, Ji Zhang, Fei Huang, Heng Ji

cs.AI

Zusammenfassung

Smartphones sind im modernen Leben unverzichtbar geworden, aber die Navigation durch komplexe Aufgaben auf mobilen Geräten bleibt oft frustrierend. Die jüngsten Fortschritte in auf großen multimodalen Modellen (LMM) basierenden mobilen Agenten haben gezeigt, dass sie die Fähigkeit besitzen, in mobilen Umgebungen wahrzunehmen und zu handeln. Allerdings stoßen aktuelle Ansätze auf erhebliche Einschränkungen: Sie sind nicht in der Lage, die Bedürfnisse realer Menschen zu erfüllen, haben Schwierigkeiten bei rechenintensiven und langfristigen Aufgaben und es fehlen Mechanismen, um aus früheren Erfahrungen zu lernen und sich zu verbessern. Um diese Herausforderungen zu überwinden, stellen wir Mobile-Agent-E vor, ein hierarchisches Multi-Agenten-Framework, das in der Lage ist, sich durch vergangene Erfahrungen selbst weiterzuentwickeln. Mit hierarchisch meinen wir eine explizite Trennung von hochrangiger Planung und niedergradiger Aktionsausführung. Das Framework besteht aus einem Manager, der für die Entwicklung von Gesamtplänen verantwortlich ist, indem komplexe Aufgaben in Teilaufgaben aufgeschlüsselt werden, sowie vier untergeordneten Agenten - Perceptor, Operator, Action Reflector und Notetaker -, die feinkörnige visuelle Wahrnehmung, unmittelbare Aktionsausführung, Fehlerüberprüfung und Informationsaggregation handhaben. Mobile-Agent-E verfügt auch über ein neuartiges Selbstentwicklungsmodul, das ein persistentes Langzeitgedächtnis umfasst, bestehend aus Tipps und Abkürzungen. Tipps sind allgemeine Anleitungen und aus früheren Aufgaben gelernte Lektionen darüber, wie man effektiv mit der Umgebung interagiert. Abkürzungen sind wiederverwendbare, ausführbare Sequenzen von atomaren Operationen, die für spezifische Routinen maßgeschneidert sind. Die Einbeziehung von Tipps und Abkürzungen erleichtert eine kontinuierliche Verbesserung von Leistung und Effizienz. Neben diesem Framework stellen wir Mobile-Eval-E vor, einen neuen Benchmark, der komplexe mobile Aufgaben mit langfristigen, multi-app Interaktionen erfordert. Empirische Ergebnisse zeigen, dass Mobile-Agent-E eine absolute Verbesserung von 22% gegenüber früheren State-of-the-Art-Ansätzen über drei grundlegende Modellrückgrate erzielt. Projektseite: https://x-plug.github.io/MobileAgent.

English

Smartphones have become indispensable in modern life, yet navigating complex tasks on mobile devices often remains frustrating. Recent advancements in large multimodal model (LMM)-based mobile agents have demonstrated the ability to perceive and act in mobile environments. However, current approaches face significant limitations: they fall short in addressing real-world human needs, struggle with reasoning-intensive and long-horizon tasks, and lack mechanisms to learn and improve from prior experiences. To overcome these challenges, we introduce Mobile-Agent-E, a hierarchical multi-agent framework capable of self-evolution through past experience. By hierarchical, we mean an explicit separation of high-level planning and low-level action execution. The framework comprises a Manager, responsible for devising overall plans by breaking down complex tasks into subgoals, and four subordinate agents--Perceptor, Operator, Action Reflector, and Notetaker--which handle fine-grained visual perception, immediate action execution, error verification, and information aggregation, respectively. Mobile-Agent-E also features a novel self-evolution module which maintains a persistent long-term memory comprising Tips and Shortcuts. Tips are general guidance and lessons learned from prior tasks on how to effectively interact with the environment. Shortcuts are reusable, executable sequences of atomic operations tailored for specific subroutines. The inclusion of Tips and Shortcuts facilitates continuous refinement in performance and efficiency. Alongside this framework, we introduce Mobile-Eval-E, a new benchmark featuring complex mobile tasks requiring long-horizon, multi-app interactions. Empirical results show that Mobile-Agent-E achieves a 22% absolute improvement over previous state-of-the-art approaches across three foundation model backbones. Project page: https://x-plug.github.io/MobileAgent.