명령에서 프롬프트로: AIOS용 LLM 기반 시맨틱 파일 시스템

From Commands to Prompts: LLM-based Semantic File System for AIOS

September 23, 2024

저자: Zeru Shi, Kai Mei, Mingyu Jin, Yongye Su, Chaoji Zuo, Wenyue Hua, Wujiang Xu, Yujie Ren, Zirui Liu, Mengnan Du, Dong Deng, Yongfeng Zhang

cs.AI

초록

대형 언어 모델(LLMs)은 LLM 기반 에이전트 및 에이전트 운영 시스템(AIOS)과 같은 지능형 응용 프로그램 및 시스템의 발전에서 상당한 잠재력을 보여주었습니다. 그러나 이러한 응용 프로그램 및 시스템이 기본 파일 시스템과 상호 작용할 때, 파일 시스템은 여전히 전통적인 패러다임을 유지하며 정확한 명령을 통해 수동 탐색에 의존합니다. 이 패러다임은 사용자가 복잡한 폴더 계층 구조를 탐색하고 암호화된 파일 이름을 기억해야 하는 등 이러한 시스템의 사용 편의성에 병목 현상을 초래합니다. 이 한계를 해결하기 위해, 우리는 프롬프트 기반 파일 관리를 위한 LLM 기반 의미론적 파일 시스템(LSFS)을 제안합니다. 기존 방법과 달리 LSFS는 LLM을 통합하여 사용자 또는 에이전트가 자연어 프롬프트를 통해 파일과 상호 작용할 수 있도록 하여 의미론적 파일 관리를 용이하게 합니다. 대규모에서는 의미론적 파일 검색, 파일 업데이트 모니터링 및 요약, 의미론적 파일 롤백과 같은 의미론적 파일 관리 기능을 달성하기 위한 포괄적인 API 세트를 개발합니다. 소규모에서는 파일을 의미론적 색인을 구축하여 저장하고, 다양한 의미론적 작업(CRUD, 그룹화, 조인 등)을 위한 시스콜을 벡터 데이터베이스를 통해 설계하고 구현합니다. 실험 결과, LSFS가 기존 파일 시스템에 비해 사용자의 편의성, 지원 기능의 다양성, 파일 작업의 정확성 및 효율성 면에서 상당한 개선을 제공함을 보여줍니다. 더불어, LLM 통합을 통해 시스템은 내용 요약 및 버전 비교와 같은 더 지능적인 파일 관리 작업을 가능하게 하여 기능을 더욱 향상시킵니다.

English

Large language models (LLMs) have demonstrated significant potential in the development of intelligent applications and systems such as LLM-based agents and agent operating systems (AIOS). However, when these applications and systems interact with the underlying file system, the file system still remains the traditional paradigm: reliant on manual navigation through precise commands. This paradigm poses a bottleneck to the usability of these systems as users are required to navigate complex folder hierarchies and remember cryptic file names. To address this limitation, we propose an LLM-based semantic file system ( LSFS ) for prompt-driven file management. Unlike conventional approaches, LSFS incorporates LLMs to enable users or agents to interact with files through natural language prompts, facilitating semantic file management. At the macro-level, we develop a comprehensive API set to achieve semantic file management functionalities, such as semantic file retrieval, file update monitoring and summarization, and semantic file rollback). At the micro-level, we store files by constructing semantic indexes for them, design and implement syscalls of different semantic operations (e.g., CRUD, group by, join) powered by vector database. Our experiments show that LSFS offers significant improvements over traditional file systems in terms of user convenience, the diversity of supported functions, and the accuracy and efficiency of file operations. Additionally, with the integration of LLM, our system enables more intelligent file management tasks, such as content summarization and version comparison, further enhancing its capabilities.