OS-Genesis: Automazione della costruzione della traiettoria dell'agente GUI tramite sintesi inversa delle attività

OS-Genesis: Automating GUI Agent Trajectory Construction via Reverse Task Synthesis

December 27, 2024

Autori: Qiushi Sun, Kanzhi Cheng, Zichen Ding, Chuanyang Jin, Yian Wang, Fangzhi Xu, Zhenyu Wu, Chengyou Jia, Liheng Chen, Zhoumianze Liu, Ben Kao, Guohao Li, Junxian He, Yu Qiao, Zhiyong Wu

cs.AI

Abstract

Gli agenti dell'Interfaccia Utente Grafica (GUI) alimentati da Modelli Visione-Linguaggio (VLM) hanno dimostrato capacità di controllo del computer simili a quelle umane. Nonostante la loro utilità nel promuovere l'automazione digitale, persiste un collo di bottiglia critico: la raccolta di dati di traiettoria di alta qualità per l'addestramento. Le pratiche comuni per la raccolta di tali dati si basano sulla supervisione umana o sulla generazione di dati sintetici attraverso l'esecuzione di compiti predefiniti, che sono o risorse-intensive o non in grado di garantire la qualità dei dati. Inoltre, questi metodi soffrono di una limitata diversità dei dati e di significativi divari tra i dati sintetici e gli ambienti reali. Per affrontare queste sfide, proponiamo OS-Genesis, un nuovo processo di sintesi dei dati GUI che ribalta il tradizionale processo di raccolta delle traiettorie. Invece di fare affidamento su compiti predefiniti, OS-Genesis consente agli agenti di percepire prima gli ambienti e di eseguire interazioni passo dopo passo, per poi derivare retrospettivamente compiti di alta qualità per consentire l'esplorazione a livello di traiettoria. Viene quindi impiegato un modello di ricompensa per le traiettorie per garantire la qualità delle traiettorie generate. Dimostriamo che addestrare agenti GUI con OS-Genesis migliora significativamente le loro prestazioni su benchmark online altamente impegnativi. Un'analisi approfondita convalida ulteriormente l'efficienza di OS-Genesis e la sua qualità e diversità dei dati superiori rispetto ai metodi di sintesi esistenti. I nostri codici, dati e checkpoint sono disponibili su https://qiushisun.github.io/OS-Genesis-Home/{Homepage di OS-Genesis}.

English

Graphical User Interface (GUI) agents powered by Vision-Language Models (VLMs) have demonstrated human-like computer control capability. Despite their utility in advancing digital automation, a critical bottleneck persists: collecting high-quality trajectory data for training. Common practices for collecting such data rely on human supervision or synthetic data generation through executing pre-defined tasks, which are either resource-intensive or unable to guarantee data quality. Moreover, these methods suffer from limited data diversity and significant gaps between synthetic data and real-world environments. To address these challenges, we propose OS-Genesis, a novel GUI data synthesis pipeline that reverses the conventional trajectory collection process. Instead of relying on pre-defined tasks, OS-Genesis enables agents first to perceive environments and perform step-wise interactions, then retrospectively derive high-quality tasks to enable trajectory-level exploration. A trajectory reward model is then employed to ensure the quality of the generated trajectories. We demonstrate that training GUI agents with OS-Genesis significantly improves their performance on highly challenging online benchmarks. In-depth analysis further validates OS-Genesis's efficiency and its superior data quality and diversity compared to existing synthesis methods. Our codes, data, and checkpoints are available at https://qiushisun.github.io/OS-Genesis-Home/{OS-Genesis Homepage}.