AgentStore: Schaalbare Integratie van Heterogene Agenten als Gespecialiseerde Generalistische Computerassistent

AgentStore: Scalable Integration of Heterogeneous Agents As Specialized Generalist Computer Assistant

October 24, 2024

Auteurs: Chengyou Jia, Minnan Luo, Zhuohang Dang, Qiushi Sun, Fangzhi Xu, Junlin Hu, Tianbao Xie, Zhiyong Wu

cs.AI

Samenvatting

Digitale agenten die in staat zijn om complexe computertaken te automatiseren, hebben aanzienlijke aandacht getrokken vanwege hun enorme potentieel om de interactie tussen mens en computer te verbeteren. Echter, bestaande agentmethoden vertonen tekortkomingen in hun vermogen tot generalisatie en specialisatie, met name bij het omgaan met open computertaken in real-world omgevingen. Geïnspireerd door de rijke functionaliteit van de App Store, presenteren wij AgentStore, een schaalbaar platform dat is ontworpen om heterogene agenten dynamisch te integreren voor het automatiseren van computertaken. AgentStore stelt gebruikers in staat om externe agenten te integreren, waardoor het systeem voortdurend zijn mogelijkheden kan verrijken en zich kan aanpassen aan snel evoluerende besturingssystemen. Daarnaast stellen we een nieuw kern-MetaAgent voor met de AgentToken-strategie om op efficiënte wijze diverse agenten te beheren en hun gespecialiseerde en generalistische capaciteiten te benutten voor zowel domeinspecifieke als systeembrede taken. Uitgebreide experimenten op drie uitdagende benchmarks tonen aan dat AgentStore de beperkingen van eerdere systemen met beperkte capaciteiten overtreft, waarbij met name een significante verbetering wordt behaald van 11,21% naar 23,85% op de OSWorld-benchmark, meer dan een verdubbeling van de vorige resultaten. Uitgebreide kwantitatieve en kwalitatieve resultaten tonen verder de mogelijkheid van AgentStore aan om agentensystemen te verbeteren op zowel generalisatie als specialisatie, waarbij het potentieel wordt benadrukt voor de ontwikkeling van de gespecialiseerde generalistische computerassistent. Al onze codes zullen openbaar beschikbaar worden gesteld op https://chengyou-jia.github.io/AgentStore-Home.

English

Digital agents capable of automating complex computer tasks have attracted considerable attention due to their immense potential to enhance human-computer interaction. However, existing agent methods exhibit deficiencies in their generalization and specialization capabilities, especially in handling open-ended computer tasks in real-world environments. Inspired by the rich functionality of the App store, we present AgentStore, a scalable platform designed to dynamically integrate heterogeneous agents for automating computer tasks. AgentStore empowers users to integrate third-party agents, allowing the system to continuously enrich its capabilities and adapt to rapidly evolving operating systems. Additionally, we propose a novel core MetaAgent with the AgentToken strategy to efficiently manage diverse agents and utilize their specialized and generalist abilities for both domain-specific and system-wide tasks. Extensive experiments on three challenging benchmarks demonstrate that AgentStore surpasses the limitations of previous systems with narrow capabilities, particularly achieving a significant improvement from 11.21\% to 23.85\% on the OSWorld benchmark, more than doubling the previous results. Comprehensive quantitative and qualitative results further demonstrate AgentStore's ability to enhance agent systems in both generalization and specialization, underscoring its potential for developing the specialized generalist computer assistant. All our codes will be made publicly available in https://chengyou-jia.github.io/AgentStore-Home.