Verso Agenti GUI Affidabili: Una Rassegna

Towards Trustworthy GUI Agents: A Survey

March 30, 2025

Autori: Yucheng Shi, Wenhao Yu, Wenlin Yao, Wenhu Chen, Ninghao Liu

cs.AI

Abstract

Gli agenti GUI, alimentati da grandi modelli di base, possono interagire con interfacce digitali, abilitando varie applicazioni nell'automazione web, nella navigazione mobile e nel testing software. Tuttavia, la loro crescente autonomia ha sollevato preoccupazioni critiche riguardo alla loro sicurezza, privacy e affidabilità. Questo studio esamina l'affidabilità degli agenti GUI in cinque dimensioni critiche: vulnerabilità di sicurezza, affidabilità in ambienti dinamici, trasparenza e spiegabilità, considerazioni etiche e metodologie di valutazione. Identifichiamo inoltre le principali sfide, come la vulnerabilità agli attacchi avversari, le modalità di guasto a cascata nel processo decisionale sequenziale e la mancanza di benchmark di valutazione realistici. Questi problemi non solo ostacolano il dispiegamento nel mondo reale, ma richiedono anche strategie di mitigazione complete che vadano oltre il successo del compito. Man mano che gli agenti GUI diventano più diffusi, è essenziale stabilire standard di sicurezza robusti e pratiche di sviluppo responsabili. Questo studio fornisce una base per avanzare verso agenti GUI affidabili attraverso una comprensione sistematica e future ricerche.

English

GUI agents, powered by large foundation models, can interact with digital interfaces, enabling various applications in web automation, mobile navigation, and software testing. However, their increasing autonomy has raised critical concerns about their security, privacy, and safety. This survey examines the trustworthiness of GUI agents in five critical dimensions: security vulnerabilities, reliability in dynamic environments, transparency and explainability, ethical considerations, and evaluation methodologies. We also identify major challenges such as vulnerability to adversarial attacks, cascading failure modes in sequential decision-making, and a lack of realistic evaluation benchmarks. These issues not only hinder real-world deployment but also call for comprehensive mitigation strategies beyond task success. As GUI agents become more widespread, establishing robust safety standards and responsible development practices is essential. This survey provides a foundation for advancing trustworthy GUI agents through systematic understanding and future research.