AgentStore : Intégration évolutive d'agents hétérogènes en tant qu'assistant informatique généraliste spécialisé

AgentStore: Scalable Integration of Heterogeneous Agents As Specialized Generalist Computer Assistant

October 24, 2024

Auteurs: Chengyou Jia, Minnan Luo, Zhuohang Dang, Qiushi Sun, Fangzhi Xu, Junlin Hu, Tianbao Xie, Zhiyong Wu

cs.AI

Résumé

Les agents numériques capables d'automatiser des tâches informatiques complexes ont attiré une attention considérable en raison de leur immense potentiel pour améliorer l'interaction homme-machine. Cependant, les méthodes d'agents existantes présentent des lacunes dans leurs capacités de généralisation et de spécialisation, notamment dans le traitement de tâches informatiques ouvertes dans des environnements du monde réel. Inspiré par la riche fonctionnalité de l'App Store, nous présentons AgentStore, une plateforme évolutive conçue pour intégrer dynamiquement des agents hétérogènes pour automatiser des tâches informatiques. AgentStore permet aux utilisateurs d'intégrer des agents tiers, permettant au système d'enrichir continuellement ses capacités et de s'adapter aux systèmes d'exploitation en évolution rapide. De plus, nous proposons un nouveau MetaAgent central avec la stratégie AgentToken pour gérer efficacement des agents divers et utiliser leurs capacités spécialisées et généralistes pour des tâches spécifiques au domaine et à l'ensemble du système. Des expériences approfondies sur trois benchmarks difficiles démontrent qu'AgentStore surpasse les limitations des systèmes précédents avec des capacités limitées, réalisant en particulier une amélioration significative de 11,21\% à 23,85\% sur le benchmark OSWorld, plus que doublant les résultats précédents. Des résultats quantitatifs et qualitatifs complets démontrent en outre la capacité d'AgentStore à améliorer les systèmes d'agents à la fois en termes de généralisation et de spécialisation, soulignant son potentiel pour développer l'assistant informatique généraliste spécialisé. Tous nos codes seront rendus publics à l'adresse https://chengyou-jia.github.io/AgentStore-Home.

English

Digital agents capable of automating complex computer tasks have attracted considerable attention due to their immense potential to enhance human-computer interaction. However, existing agent methods exhibit deficiencies in their generalization and specialization capabilities, especially in handling open-ended computer tasks in real-world environments. Inspired by the rich functionality of the App store, we present AgentStore, a scalable platform designed to dynamically integrate heterogeneous agents for automating computer tasks. AgentStore empowers users to integrate third-party agents, allowing the system to continuously enrich its capabilities and adapt to rapidly evolving operating systems. Additionally, we propose a novel core MetaAgent with the AgentToken strategy to efficiently manage diverse agents and utilize their specialized and generalist abilities for both domain-specific and system-wide tasks. Extensive experiments on three challenging benchmarks demonstrate that AgentStore surpasses the limitations of previous systems with narrow capabilities, particularly achieving a significant improvement from 11.21\% to 23.85\% on the OSWorld benchmark, more than doubling the previous results. Comprehensive quantitative and qualitative results further demonstrate AgentStore's ability to enhance agent systems in both generalization and specialization, underscoring its potential for developing the specialized generalist computer assistant. All our codes will be made publicly available in https://chengyou-jia.github.io/AgentStore-Home.