OS-Genesis：逆タスク合成を介したGUIエージェントの軌跡構築の自動化

OS-Genesis: Automating GUI Agent Trajectory Construction via Reverse Task Synthesis

December 27, 2024

著者: Qiushi Sun, Kanzhi Cheng, Zichen Ding, Chuanyang Jin, Yian Wang, Fangzhi Xu, Zhenyu Wu, Chengyou Jia, Liheng Chen, Zhoumianze Liu, Ben Kao, Guohao Li, Junxian He, Yu Qiao, Zhiyong Wu

cs.AI

要旨

ビジョン言語モデル（VLM）によって駆動されるグラフィカルユーザーインターフェース（GUI）エージェントは、人間らしいコンピュータ制御能力を示しています。デジタル自動化の推進に役立つ一方で、訓練用の高品質な軌跡データを収集するという重要なボトルネックが依然として存在しています。このようなデータを収集するための一般的な手法は、人間の監督または事前定義されたタスクの実行を通じた合成データ生成に依存しており、いずれもリソースを多く必要とするか、データ品質を保証できません。さらに、これらの手法は、合成データと実世界の環境との間に限られたデータの多様性や大きなギャップがあるという課題に直面しています。これらの課題に対処するために、我々はOS-Genesisを提案します。これは、従来の軌跡収集プロセスを逆転させる革新的なGUIデータ合成パイプラインです。OS-Genesisは、事前定義されたタスクに依存するのではなく、エージェントに最初に環境を認識させ、段階的な相互作用を行わせ、その後後ろ向きに高品質なタスクを導き出して軌跡レベルの探索を可能にします。その後、軌跡報酬モデルが生成された軌跡の品質を確保するために使用されます。OS-Genesisを使用してGUIエージェントを訓練すると、高度に挑戦的なオンラインベンチマークでのパフォーマンスが大幅に向上することを示します。詳細な分析は、既存の合成手法と比較して、OS-Genesisの効率性、優れたデータ品質、多様性をさらに検証します。我々のコード、データ、およびチェックポイントは、{OS-Genesisホームページ}で入手可能です。

English

Graphical User Interface (GUI) agents powered by Vision-Language Models (VLMs) have demonstrated human-like computer control capability. Despite their utility in advancing digital automation, a critical bottleneck persists: collecting high-quality trajectory data for training. Common practices for collecting such data rely on human supervision or synthetic data generation through executing pre-defined tasks, which are either resource-intensive or unable to guarantee data quality. Moreover, these methods suffer from limited data diversity and significant gaps between synthetic data and real-world environments. To address these challenges, we propose OS-Genesis, a novel GUI data synthesis pipeline that reverses the conventional trajectory collection process. Instead of relying on pre-defined tasks, OS-Genesis enables agents first to perceive environments and perform step-wise interactions, then retrospectively derive high-quality tasks to enable trajectory-level exploration. A trajectory reward model is then employed to ensure the quality of the generated trajectories. We demonstrate that training GUI agents with OS-Genesis significantly improves their performance on highly challenging online benchmarks. In-depth analysis further validates OS-Genesis's efficiency and its superior data quality and diversity compared to existing synthesis methods. Our codes, data, and checkpoints are available at https://qiushisun.github.io/OS-Genesis-Home/{OS-Genesis Homepage}.