LearnAct: Few-Shot Mobiele GUI Agent met een Uniform Demonstratie Benchmark

LearnAct: Few-Shot Mobile GUI Agent with a Unified Demonstration Benchmark

April 18, 2025

Auteurs: Guangyi Liu, Pengxiang Zhao, Liang Liu, Zhiming Chen, Yuxiang Chai, Shuai Ren, Hao Wang, Shibo He, Wenchao Meng

cs.AI

Samenvatting

Mobiele GUI-agents tonen potentie in het automatiseren van taken, maar worden geconfronteerd met generalisatie-uitdagingen in diverse real-world scenario's. Traditionele benaderingen die gebruikmaken van vooraf trainen of fine-tuning met enorme datasets hebben moeite met de diversiteit van mobiele applicaties en gebruikersspecifieke taken. Wij stellen voor om de mogelijkheden van mobiele GUI-agents te verbeteren door middel van menselijke demonstraties, met de focus op het verbeteren van prestaties in onbekende scenario's in plaats van universele generalisatie na te streven door middel van grotere datasets. Om dit paradigma te realiseren, introduceren we LearnGUI, de eerste uitgebreide dataset die specifiek is ontworpen voor het bestuderen van demonstratiegebaseerd leren in mobiele GUI-agents, bestaande uit 2.252 offline taken en 101 online taken met hoogwaardige menselijke demonstraties. We ontwikkelen verder LearnAct, een geavanceerd multi-agent framework dat automatisch kennis uit demonstraties haalt om de taakvoltooiing te verbeteren. Dit framework integreert drie gespecialiseerde agents: DemoParser voor kennis extractie, KnowSeeker voor het ophalen van relevante kennis, en ActExecutor voor demonstratiegebaseerde taakuitvoering. Onze experimentele resultaten tonen significante prestatieverbeteringen in zowel offline als online evaluaties. In offline beoordelingen verbetert een enkele demonstratie de modelprestaties, waarbij de nauwkeurigheid van Gemini-1.5-Pro stijgt van 19,3% naar 51,7%. In online evaluaties verhoogt ons framework de taaksuccesratio van UI-TARS-7B-SFT van 18,1% naar 32,8%. Het LearnAct-framework en de LearnGUI-benchmark vestigen demonstratiegebaseerd leren als een veelbelovende richting voor meer aanpasbare, gepersonaliseerde en inzetbare mobiele GUI-agents.

English

Mobile GUI agents show promise in automating tasks but face generalization challenges in diverse real-world scenarios. Traditional approaches using pre-training or fine-tuning with massive datasets struggle with the diversity of mobile applications and user-specific tasks. We propose enhancing mobile GUI agent capabilities through human demonstrations, focusing on improving performance in unseen scenarios rather than pursuing universal generalization through larger datasets. To realize this paradigm, we introduce LearnGUI, the first comprehensive dataset specifically designed for studying demonstration-based learning in mobile GUI agents, comprising 2,252 offline tasks and 101 online tasks with high-quality human demonstrations. We further develop LearnAct, a sophisticated multi-agent framework that automatically extracts knowledge from demonstrations to enhance task completion. This framework integrates three specialized agents: DemoParser for knowledge extraction, KnowSeeker for relevant knowledge retrieval, and ActExecutor for demonstration-enhanced task execution. Our experimental results show significant performance gains in both offline and online evaluations. In offline assessments, a single demonstration improves model performance, increasing Gemini-1.5-Pro's accuracy from 19.3% to 51.7%. In online evaluations, our framework enhances UI-TARS-7B-SFT's task success rate from 18.1% to 32.8%. LearnAct framework and LearnGUI benchmark establish demonstration-based learning as a promising direction for more adaptable, personalized, and deployable mobile GUI agents.