InfiGUIAgent: ネイティブな推論と反映を備えたマルチモーダルな汎用GUIエージェント

InfiGUIAgent: A Multimodal Generalist GUI Agent with Native Reasoning and Reflection

January 8, 2025

著者: Yuhang Liu, Pengxiang Li, Zishu Wei, Congkai Xie, Xueyu Hu, Xinchen Xu, Shengyu Zhang, Xiaotian Han, Hongxia Yang, Fei Wu

cs.AI

要旨

グラフィカルユーザーインターフェース（GUI）エージェントは、マルチモーダルな大規模言語モデル（MLLMs）によって強化され、コンピュータやモバイル電話などのコンピューティングデバイスにおけるタスクの自動化に大きな潜在能力を示しています。ただし、既存のエージェントは、複数段階の推論やテキスト注釈への依存といった課題に直面し、その効果が制限されています。本研究では、InfiGUIAgentを導入しました。これは、2段階の教師ありファインチューニングパイプラインで訓練されたMLLMベースのGUIエージェントです。第1段階では、GUI理解や基盤形成などの基本的なスキルを向上させ、第2段階では、階層的推論や期待反映推論スキルを統合し、エージェントのネイティブな推論能力を可能にするために合成データを使用しています。InfiGUIAgentは、複数のGUIベンチマークで競争力のある性能を達成し、自然な推論能力がGUIインタラクションの自動化タスクの向上に与える影響を示しています。リソースはhttps://github.com/Reallm-Labs/InfiGUIAgent で入手可能です。

English

Graphical User Interface (GUI) Agents, powered by multimodal large language models (MLLMs), have shown great potential for task automation on computing devices such as computers and mobile phones. However, existing agents face challenges in multi-step reasoning and reliance on textual annotations, limiting their effectiveness. We introduce InfiGUIAgent, an MLLM-based GUI Agent trained with a two-stage supervised fine-tuning pipeline. Stage 1 enhances fundamental skills such as GUI understanding and grounding, while Stage 2 integrates hierarchical reasoning and expectation-reflection reasoning skills using synthesized data to enable native reasoning abilities of the agents. InfiGUIAgent achieves competitive performance on several GUI benchmarks, highlighting the impact of native reasoning skills in enhancing GUI interaction for automation tasks. Resources are available at https://github.com/Reallm-Labs/InfiGUIAgent.