AppAgentX: Развитие GUI-агентов как квалифицированных пользователей смартфонов

AppAgentX: Evolving GUI Agents as Proficient Smartphone Users

March 4, 2025

Авторы: Wenjia Jiang, Yangyang Zhuang, Chenxi Song, Xu Yang, Chi Zhang

cs.AI

Аннотация

Последние достижения в области больших языковых моделей (LLM) привели к разработке интеллектуальных агентов на основе LLM, способных взаимодействовать с графическими пользовательскими интерфейсами (GUI). Эти агенты демонстрируют высокий уровень рассуждений и адаптивности, что позволяет им выполнять сложные задачи, которые традиционно требовали предопределенных правил. Однако зависимость от пошагового рассуждения в агентах на основе LLM часто приводит к неэффективности, особенно при выполнении рутинных задач. В то же время традиционные системы, основанные на правилах, превосходят по эффективности, но им не хватает интеллекта и гибкости для адаптации к новым сценариям. Для решения этой проблемы мы предлагаем новую эволюционную архитектуру для GUI-агентов, которая повышает операционную эффективность, сохраняя при этом интеллект и гибкость. Наш подход включает механизм памяти, который записывает историю выполнения задач агентом. Анализируя эту историю, агент выявляет повторяющиеся последовательности действий и развивает высокоуровневые действия, которые выступают в качестве сокращений, заменяя эти низкоуровневые операции и повышая эффективность. Это позволяет агенту сосредоточиться на задачах, требующих более сложного рассуждения, упрощая при этом рутинные действия. Результаты экспериментов на нескольких эталонных задачах показывают, что наш подход значительно превосходит существующие методы как по эффективности, так и по точности. Код будет открыт для поддержки дальнейших исследований.

English

Recent advancements in Large Language Models (LLMs) have led to the development of intelligent LLM-based agents capable of interacting with graphical user interfaces (GUIs). These agents demonstrate strong reasoning and adaptability, enabling them to perform complex tasks that traditionally required predefined rules. However, the reliance on step-by-step reasoning in LLM-based agents often results in inefficiencies, particularly for routine tasks. In contrast, traditional rule-based systems excel in efficiency but lack the intelligence and flexibility to adapt to novel scenarios. To address this challenge, we propose a novel evolutionary framework for GUI agents that enhances operational efficiency while retaining intelligence and flexibility. Our approach incorporates a memory mechanism that records the agent's task execution history. By analyzing this history, the agent identifies repetitive action sequences and evolves high-level actions that act as shortcuts, replacing these low-level operations and improving efficiency. This allows the agent to focus on tasks requiring more complex reasoning, while simplifying routine actions. Experimental results on multiple benchmark tasks demonstrate that our approach significantly outperforms existing methods in both efficiency and accuracy. The code will be open-sourced to support further research.