OS-Genesis: Automatizando a Construção de Trajetória do Agente GUI por meio da Síntese Reversa de Tarefas

OS-Genesis: Automating GUI Agent Trajectory Construction via Reverse Task Synthesis

December 27, 2024

Autores: Qiushi Sun, Kanzhi Cheng, Zichen Ding, Chuanyang Jin, Yian Wang, Fangzhi Xu, Zhenyu Wu, Chengyou Jia, Liheng Chen, Zhoumianze Liu, Ben Kao, Guohao Li, Junxian He, Yu Qiao, Zhiyong Wu

cs.AI

Resumo

Agentes de Interface Gráfica do Usuário (GUI) alimentados por Modelos de Visão-Linguagem (VLMs) têm demonstrado capacidade de controle de computador semelhante à humana. Apesar de sua utilidade na promoção da automação digital, um gargalo crítico persiste: a coleta de dados de trajetória de alta qualidade para treinamento. Práticas comuns para coletar tais dados dependem de supervisão humana ou geração de dados sintéticos por meio da execução de tarefas predefinidas, que são ou intensivas em recursos ou incapazes de garantir a qualidade dos dados. Além disso, esses métodos sofrem com a limitada diversidade de dados e lacunas significativas entre dados sintéticos e ambientes do mundo real. Para enfrentar esses desafios, propomos o OS-Genesis, um novo pipeline de síntese de dados de GUI que reverte o processo convencional de coleta de trajetória. Em vez de depender de tarefas predefinidas, o OS-Genesis permite que os agentes primeiro percebam os ambientes e realizem interações passo a passo, para então derivar retrospectivamente tarefas de alta qualidade para possibilitar a exploração em nível de trajetória. Um modelo de recompensa de trajetória é então empregado para garantir a qualidade das trajetórias geradas. Demonstramos que o treinamento de agentes de GUI com o OS-Genesis melhora significativamente seu desempenho em benchmarks online altamente desafiadores. Uma análise aprofundada valida ainda mais a eficiência do OS-Genesis e sua qualidade e diversidade de dados superiores em comparação com métodos de síntese existentes. Nossos códigos, dados e checkpoints estão disponíveis em https://qiushisun.github.io/OS-Genesis-Home/{Página Inicial do OS-Genesis}.

English

Graphical User Interface (GUI) agents powered by Vision-Language Models (VLMs) have demonstrated human-like computer control capability. Despite their utility in advancing digital automation, a critical bottleneck persists: collecting high-quality trajectory data for training. Common practices for collecting such data rely on human supervision or synthetic data generation through executing pre-defined tasks, which are either resource-intensive or unable to guarantee data quality. Moreover, these methods suffer from limited data diversity and significant gaps between synthetic data and real-world environments. To address these challenges, we propose OS-Genesis, a novel GUI data synthesis pipeline that reverses the conventional trajectory collection process. Instead of relying on pre-defined tasks, OS-Genesis enables agents first to perceive environments and perform step-wise interactions, then retrospectively derive high-quality tasks to enable trajectory-level exploration. A trajectory reward model is then employed to ensure the quality of the generated trajectories. We demonstrate that training GUI agents with OS-Genesis significantly improves their performance on highly challenging online benchmarks. In-depth analysis further validates OS-Genesis's efficiency and its superior data quality and diversity compared to existing synthesis methods. Our codes, data, and checkpoints are available at https://qiushisun.github.io/OS-Genesis-Home/{OS-Genesis Homepage}.