InfiGUIAgent: Um Agente GUI Generalista Multimodal com Raciocínio e Reflexão Nativa

InfiGUIAgent: A Multimodal Generalist GUI Agent with Native Reasoning and Reflection

January 8, 2025

Autores: Yuhang Liu, Pengxiang Li, Zishu Wei, Congkai Xie, Xueyu Hu, Xinchen Xu, Shengyu Zhang, Xiaotian Han, Hongxia Yang, Fei Wu

cs.AI

Resumo

Agentes de Interface Gráfica do Usuário (GUI), impulsionados por modelos de linguagem multimodais de grande porte (MLLMs), têm mostrado grande potencial para automação de tarefas em dispositivos de computação, como computadores e telefones celulares. No entanto, os agentes existentes enfrentam desafios em raciocínio de múltiplas etapas e dependência de anotações textuais, limitando sua eficácia. Apresentamos o InfiGUIAgent, um Agente GUI baseado em MLLM treinado com um pipeline de ajuste fino supervisionado de duas etapas. A Etapa 1 aprimora habilidades fundamentais, como compreensão e fundamentação da GUI, enquanto a Etapa 2 integra raciocínio hierárquico e raciocínio de reflexão de expectativas usando dados sintetizados para habilitar habilidades de raciocínio nativas dos agentes. O InfiGUIAgent alcança desempenho competitivo em vários benchmarks de GUI, destacando o impacto das habilidades de raciocínio nativas na melhoria da interação da GUI para tarefas de automação. Os recursos estão disponíveis em https://github.com/Reallm-Labs/InfiGUIAgent.

English

Graphical User Interface (GUI) Agents, powered by multimodal large language models (MLLMs), have shown great potential for task automation on computing devices such as computers and mobile phones. However, existing agents face challenges in multi-step reasoning and reliance on textual annotations, limiting their effectiveness. We introduce InfiGUIAgent, an MLLM-based GUI Agent trained with a two-stage supervised fine-tuning pipeline. Stage 1 enhances fundamental skills such as GUI understanding and grounding, while Stage 2 integrates hierarchical reasoning and expectation-reflection reasoning skills using synthesized data to enable native reasoning abilities of the agents. InfiGUIAgent achieves competitive performance on several GUI benchmarks, highlighting the impact of native reasoning skills in enhancing GUI interaction for automation tasks. Resources are available at https://github.com/Reallm-Labs/InfiGUIAgent.