AgentStore: Integrazione Scalabile di Agenti Eterogenei Come Assistenti Informatici Generalisti Specializzati

AgentStore: Scalable Integration of Heterogeneous Agents As Specialized Generalist Computer Assistant

October 24, 2024

Autori: Chengyou Jia, Minnan Luo, Zhuohang Dang, Qiushi Sun, Fangzhi Xu, Junlin Hu, Tianbao Xie, Zhiyong Wu

cs.AI

Abstract

Gli agenti digitali capaci di automatizzare complesse attività informatiche hanno attirato considerevole attenzione per il loro immenso potenziale nel migliorare l'interazione uomo-computer. Tuttavia, i metodi degli agenti esistenti mostrano carenze nelle loro capacità di generalizzazione e specializzazione, specialmente nel gestire attività informatiche aperte in ambienti del mondo reale. Ispirandoci alla ricca funzionalità dell'App Store, presentiamo AgentStore, una piattaforma scalabile progettata per integrare dinamicamente agenti eterogenei per automatizzare attività informatiche. AgentStore permette agli utenti di integrare agenti di terze parti, consentendo al sistema di arricchire continuamente le proprie capacità e adattarsi ai sistemi operativi in rapida evoluzione. Inoltre, proponiamo un nuovo nucleo MetaAgente con la strategia AgentToken per gestire efficientemente agenti diversi e sfruttare le loro abilità specializzate e generaliste sia per compiti specifici del dominio che per quelli a livello di sistema. Estesi esperimenti su tre benchmark sfidanti dimostrano che AgentStore supera i limiti dei sistemi precedenti con capacità limitate, ottenendo in particolare un significativo miglioramento dal 11,21% al 23,85% sul benchmark OSWorld, più che raddoppiando i risultati precedenti. Risultati quantitativi e qualitativi completi dimostrano ulteriormente la capacità di AgentStore di migliorare i sistemi di agenti sia nella generalizzazione che nella specializzazione, sottolineando il suo potenziale nello sviluppare l'assistente informatico generalista specializzato. Tutti i nostri codici saranno resi pubblicamente disponibili su https://chengyou-jia.github.io/AgentStore-Home.

English

Digital agents capable of automating complex computer tasks have attracted considerable attention due to their immense potential to enhance human-computer interaction. However, existing agent methods exhibit deficiencies in their generalization and specialization capabilities, especially in handling open-ended computer tasks in real-world environments. Inspired by the rich functionality of the App store, we present AgentStore, a scalable platform designed to dynamically integrate heterogeneous agents for automating computer tasks. AgentStore empowers users to integrate third-party agents, allowing the system to continuously enrich its capabilities and adapt to rapidly evolving operating systems. Additionally, we propose a novel core MetaAgent with the AgentToken strategy to efficiently manage diverse agents and utilize their specialized and generalist abilities for both domain-specific and system-wide tasks. Extensive experiments on three challenging benchmarks demonstrate that AgentStore surpasses the limitations of previous systems with narrow capabilities, particularly achieving a significant improvement from 11.21\% to 23.85\% on the OSWorld benchmark, more than doubling the previous results. Comprehensive quantitative and qualitative results further demonstrate AgentStore's ability to enhance agent systems in both generalization and specialization, underscoring its potential for developing the specialized generalist computer assistant. All our codes will be made publicly available in https://chengyou-jia.github.io/AgentStore-Home.