AgentStore: Skalierbare Integration heterogener Agenten als spezialisierte Generalisten-Computerassistenten.

AgentStore: Scalable Integration of Heterogeneous Agents As Specialized Generalist Computer Assistant

October 24, 2024

Autoren: Chengyou Jia, Minnan Luo, Zhuohang Dang, Qiushi Sun, Fangzhi Xu, Junlin Hu, Tianbao Xie, Zhiyong Wu

cs.AI

Zusammenfassung

Digitale Agenten, die komplexe Computer-Aufgaben automatisieren können, haben aufgrund ihres enormen Potenzials zur Verbesserung der Mensch-Computer-Interaktion erhebliche Aufmerksamkeit erregt. Allerdings weisen bestehende Agentenmethoden Mängel in ihren Verallgemeinerungs- und Spezialisierungsfähigkeiten auf, insbesondere bei der Bewältigung offener Computer-Aufgaben in realen Umgebungen. Inspiriert von der umfangreichen Funktionalität des App Stores präsentieren wir AgentStore, eine skalierbare Plattform, die darauf ausgelegt ist, heterogene Agenten dynamisch zu integrieren, um Computer-Aufgaben zu automatisieren. AgentStore ermöglicht es Benutzern, Agenten von Drittanbietern zu integrieren, wodurch das System kontinuierlich seine Fähigkeiten erweitern und sich an schnelllebig verändernde Betriebssysteme anpassen kann. Darüber hinaus schlagen wir einen neuartigen Kern-MetaAgenten mit der AgentToken-Strategie vor, um diverse Agenten effizient zu verwalten und ihre spezialisierten und generalistischen Fähigkeiten sowohl für domänenspezifische als auch systemweite Aufgaben zu nutzen. Umfangreiche Experimente an drei anspruchsvollen Benchmarks zeigen, dass AgentStore die Einschränkungen früherer Systeme mit engen Fähigkeiten übertrifft, insbesondere eine signifikante Verbesserung von 11,21\% auf 23,85\% beim OSWorld-Benchmark erzielt, was mehr als eine Verdopplung der bisherigen Ergebnisse bedeutet. Umfassende quantitative und qualitative Ergebnisse zeigen weiterhin die Fähigkeit von AgentStore, Agentensysteme sowohl in der Verallgemeinerung als auch Spezialisierung zu verbessern und unterstreichen sein Potenzial zur Entwicklung des spezialisierten Generalisten-Computerassistenten. Alle unsere Codes werden öffentlich unter https://chengyou-jia.github.io/AgentStore-Home verfügbar sein.

English

Digital agents capable of automating complex computer tasks have attracted considerable attention due to their immense potential to enhance human-computer interaction. However, existing agent methods exhibit deficiencies in their generalization and specialization capabilities, especially in handling open-ended computer tasks in real-world environments. Inspired by the rich functionality of the App store, we present AgentStore, a scalable platform designed to dynamically integrate heterogeneous agents for automating computer tasks. AgentStore empowers users to integrate third-party agents, allowing the system to continuously enrich its capabilities and adapt to rapidly evolving operating systems. Additionally, we propose a novel core MetaAgent with the AgentToken strategy to efficiently manage diverse agents and utilize their specialized and generalist abilities for both domain-specific and system-wide tasks. Extensive experiments on three challenging benchmarks demonstrate that AgentStore surpasses the limitations of previous systems with narrow capabilities, particularly achieving a significant improvement from 11.21\% to 23.85\% on the OSWorld benchmark, more than doubling the previous results. Comprehensive quantitative and qualitative results further demonstrate AgentStore's ability to enhance agent systems in both generalization and specialization, underscoring its potential for developing the specialized generalist computer assistant. All our codes will be made publicly available in https://chengyou-jia.github.io/AgentStore-Home.