Agenti GUI con grandi modelli linguistici cerebrali: un'indagine

Large Language Model-Brained GUI Agents: A Survey

November 27, 2024

Autori: Chaoyun Zhang, Shilin He, Jiaxu Qian, Bowen Li, Liqun Li, Si Qin, Yu Kang, Minghua Ma, Qingwei Lin, Saravan Rajmohan, Dongmei Zhang, Qi Zhang

cs.AI

Abstract

Le interfacce grafiche utente (GUI) sono da tempo centrali nell'interazione uomo-computer, offrendo un modo intuitivo e basato sull'aspetto visivo per accedere e interagire con i sistemi digitali. L'avvento dei LLM, in particolare dei modelli multimodali, ha aperto la strada a una nuova era di automazione delle GUI. Hanno dimostrato capacità eccezionali nella comprensione del linguaggio naturale, nella generazione di codice e nel trattamento visivo. Ciò ha aperto la strada a una nuova generazione di agenti GUI con LLM in grado di interpretare elementi GUI complessi ed eseguire autonomamente azioni basate su istruzioni in linguaggio naturale. Questi agenti rappresentano un cambiamento di paradigma, consentendo agli utenti di eseguire compiti complessi e multi-step attraverso semplici comandi conversazionali. Le loro applicazioni spaziano dalla navigazione web, alle interazioni con le app mobili, all'automazione desktop, offrendo un'esperienza utente trasformativa che rivoluziona il modo in cui gli individui interagiscono con il software. Questo campo emergente sta avanzando rapidamente, con progressi significativi sia nella ricerca che nell'industria. Per fornire una comprensione strutturata di questa tendenza, questo articolo presenta un'ampia panoramica degli agenti GUI con LLM, esplorando la loro evoluzione storica, i componenti principali e le tecniche avanzate. Affrontiamo domande di ricerca come i framework esistenti degli agenti GUI, la raccolta e l'utilizzo dei dati per addestrare agenti GUI specializzati, lo sviluppo di modelli di azione ampi adattati per compiti GUI e le metriche di valutazione e i benchmark necessari per valutarne l'efficacia. Inoltre, esaminiamo le applicazioni emergenti alimentate da questi agenti. Attraverso un'analisi dettagliata, questa panoramica identifica lacune chiave nella ricerca e traccia una roadmap per futuri progressi nel settore. Consolidando le conoscenze fondamentali e gli sviluppi all'avanguardia, questo lavoro mira a guidare sia i ricercatori che i professionisti nel superare le sfide e sbloccare il pieno potenziale degli agenti GUI con LLM.

English

GUIs have long been central to human-computer interaction, providing an intuitive and visually-driven way to access and interact with digital systems. The advent of LLMs, particularly multimodal models, has ushered in a new era of GUI automation. They have demonstrated exceptional capabilities in natural language understanding, code generation, and visual processing. This has paved the way for a new generation of LLM-brained GUI agents capable of interpreting complex GUI elements and autonomously executing actions based on natural language instructions. These agents represent a paradigm shift, enabling users to perform intricate, multi-step tasks through simple conversational commands. Their applications span across web navigation, mobile app interactions, and desktop automation, offering a transformative user experience that revolutionizes how individuals interact with software. This emerging field is rapidly advancing, with significant progress in both research and industry. To provide a structured understanding of this trend, this paper presents a comprehensive survey of LLM-brained GUI agents, exploring their historical evolution, core components, and advanced techniques. We address research questions such as existing GUI agent frameworks, the collection and utilization of data for training specialized GUI agents, the development of large action models tailored for GUI tasks, and the evaluation metrics and benchmarks necessary to assess their effectiveness. Additionally, we examine emerging applications powered by these agents. Through a detailed analysis, this survey identifies key research gaps and outlines a roadmap for future advancements in the field. By consolidating foundational knowledge and state-of-the-art developments, this work aims to guide both researchers and practitioners in overcoming challenges and unlocking the full potential of LLM-brained GUI agents.