에이전트 스토어: 이종 에이전트의 확장 가능한 통합으로 특화된 일반 컴퓨터 보조 프로그램

AgentStore: Scalable Integration of Heterogeneous Agents As Specialized Generalist Computer Assistant

October 24, 2024

저자: Chengyou Jia, Minnan Luo, Zhuohang Dang, Qiushi Sun, Fangzhi Xu, Junlin Hu, Tianbao Xie, Zhiyong Wu

cs.AI

초록

복잡한 컴퓨터 작업을 자동화할 수 있는 디지털 에이전트들은 인간-컴퓨터 상호작용을 향상시킬 수 있는 엄청난 잠재력으로 인해 상당한 관심을 끌고 있습니다. 그러나 기존의 에이전트 방법은 특히 실제 환경에서 열린 컴퓨터 작업을 처리하는 데 있어 일반화 및 전문화 능력에 결핍이 있습니다. App Store의 다양한 기능에서 영감을 받아, 우리는 컴퓨터 작업을 자동화하기 위해 다양한 에이전트를 동적으로 통합하는 확장 가능한 플랫폼인 AgentStore를 제안합니다. AgentStore는 사용자가 타사 에이전트를 통합하도록 허용하여 시스템이 능력을 지속적으로 향상시키고 빠르게 발전하는 운영 체제에 적응할 수 있도록 합니다. 또한, 우리는 다양한 에이전트를 효율적으로 관리하고 그들의 전문화 및 일반화 능력을 도메인별 및 시스템 전반적인 작업에 활용하기 위한 새로운 핵심 MetaAgent 및 AgentToken 전략을 제안합니다. OSWorld 벤치마크에서 11.21%에서 23.85%로 이전 결과를 두 배 이상 향상시켜 특히 이전 시스템의 한정된 능력의 제한을 뛰어넘는 AgentStore의 광범위한 실험 결과가 나타났습니다. 포괄적인 양적 및 질적 결과는 AgentStore가 일반화 및 전문화 측면에서 에이전트 시스템을 향상시키는 능력을 더욱 명확히 보여주며, 전문화된 일반화 컴퓨터 어시스턴트를 개발하는 데 있어 그 잠재력을 강조합니다. 모든 코드는 https://chengyou-jia.github.io/AgentStore-Home에서 공개적으로 제공될 예정입니다.

English

Digital agents capable of automating complex computer tasks have attracted considerable attention due to their immense potential to enhance human-computer interaction. However, existing agent methods exhibit deficiencies in their generalization and specialization capabilities, especially in handling open-ended computer tasks in real-world environments. Inspired by the rich functionality of the App store, we present AgentStore, a scalable platform designed to dynamically integrate heterogeneous agents for automating computer tasks. AgentStore empowers users to integrate third-party agents, allowing the system to continuously enrich its capabilities and adapt to rapidly evolving operating systems. Additionally, we propose a novel core MetaAgent with the AgentToken strategy to efficiently manage diverse agents and utilize their specialized and generalist abilities for both domain-specific and system-wide tasks. Extensive experiments on three challenging benchmarks demonstrate that AgentStore surpasses the limitations of previous systems with narrow capabilities, particularly achieving a significant improvement from 11.21\% to 23.85\% on the OSWorld benchmark, more than doubling the previous results. Comprehensive quantitative and qualitative results further demonstrate AgentStore's ability to enhance agent systems in both generalization and specialization, underscoring its potential for developing the specialized generalist computer assistant. All our codes will be made publicly available in https://chengyou-jia.github.io/AgentStore-Home.