Мобильный агент-V: Обучение операциям на мобильных устройствах через видео-руководство Мультиагентное сотрудничество.

Mobile-Agent-V: Learning Mobile Device Operation Through Video-Guided Multi-Agent Collaboration

February 24, 2025

Авторы: Junyang Wang, Haiyang Xu, Xi Zhang, Ming Yan, Ji Zhang, Fei Huang, Jitao Sang

cs.AI

Аннотация

Быстрый рост использования мобильных устройств требует улучшенной автоматизации для беспрепятственного управления задачами. Однако многие фреймворки, основанные на искусственном интеллекте, испытывают трудности из-за недостаточных операционных знаний. Ручное написание знаний помогает, но требует много труда и неэффективно. Для решения этих проблем мы представляем Mobile-Agent-V, фреймворк, который использует видео-руководство для предоставления богатых и экономически эффективных операционных знаний для мобильной автоматизации. Mobile-Agent-V улучшает возможности выполнения задач, используя видео входы без необходимости специализированной выборки или предварительной обработки. Mobile-Agent-V интегрирует стратегию скользящего окна и включает видеоагента и агента глубокого отражения, чтобы гарантировать соответствие действий инструкциям пользователя. Через этот инновационный подход пользователи могут записывать процессы задач с руководством, что позволяет системе автономно изучать и эффективно выполнять задачи. Экспериментальные результаты показывают, что Mobile-Agent-V достигает улучшения производительности на 30% по сравнению с существующими фреймворками.

English

The rapid increase in mobile device usage necessitates improved automation for seamless task management. However, many AI-driven frameworks struggle due to insufficient operational knowledge. Manually written knowledge helps but is labor-intensive and inefficient. To address these challenges, we introduce Mobile-Agent-V, a framework that leverages video guidance to provide rich and cost-effective operational knowledge for mobile automation. Mobile-Agent-V enhances task execution capabilities by leveraging video inputs without requiring specialized sampling or preprocessing. Mobile-Agent-V integrates a sliding window strategy and incorporates a video agent and deep-reflection agent to ensure that actions align with user instructions. Through this innovative approach, users can record task processes with guidance, enabling the system to autonomously learn and execute tasks efficiently. Experimental results show that Mobile-Agent-V achieves a 30% performance improvement compared to existing frameworks.