Van Opdrachten naar Aanwijzingen: Op LLM Gebaseerd Semantisch Bestandssysteem voor AIOS

From Commands to Prompts: LLM-based Semantic File System for AIOS

September 23, 2024

Auteurs: Zeru Shi, Kai Mei, Mingyu Jin, Yongye Su, Chaoji Zuo, Wenyue Hua, Wujiang Xu, Yujie Ren, Zirui Liu, Mengnan Du, Dong Deng, Yongfeng Zhang

cs.AI

Samenvatting

Grote taalmodellen (LLM's) hebben aanzienlijk potentieel aangetoond in de ontwikkeling van intelligente toepassingen en systemen zoals op LLM's gebaseerde agenten en agent besturingssystemen (AIOS). Echter, wanneer deze toepassingen en systemen interacteren met het onderliggende bestandssysteem, blijft het bestandssysteem nog steeds het traditionele paradigma: afhankelijk van handmatige navigatie via precieze commando's. Dit paradigma vormt een knelpunt voor de bruikbaarheid van deze systemen aangezien gebruikers verplicht zijn om complexe maphiërarchieën te navigeren en cryptische bestandsnamen te onthouden. Om deze beperking aan te pakken, stellen wij een op LLM's gebaseerd semantisch bestandssysteem (LSFS) voor voor opdrachtgestuurd bestandsbeheer. In tegenstelling tot conventionele benaderingen, integreert LSFS LLM's om gebruikers of agenten in staat te stellen om met bestanden te interacteren via natuurlijke taalopdrachten, waardoor semantisch bestandsbeheer wordt vergemakkelijkt. Op macroniveau ontwikkelen we een uitgebreide API-set om semantische bestandsbeheerfunctionaliteiten te bereiken, zoals semantische bestandsopvraging, bestandsupdatebewaking en samenvatting, en semantische bestandsrollback. Op microniveau slaan we bestanden op door semantische indexen voor hen te construeren, ontwerpen en implementeren we systeemaanroepen van verschillende semantische operaties (bijv. CRUD, groeperen op, samenvoegen) aangedreven door een vector database. Onze experimenten tonen aan dat LSFS aanzienlijke verbeteringen biedt ten opzichte van traditionele bestandssystemen op het gebied van gebruikersgemak, de diversiteit van ondersteunde functies, en de nauwkeurigheid en efficiëntie van bestandsbewerkingen. Bovendien, met de integratie van LLM, maakt ons systeem meer intelligente bestandsbeheertaken mogelijk, zoals inhoudssamenvatting en versievergelijking, waardoor de mogelijkheden verder worden verbeterd.

English

Large language models (LLMs) have demonstrated significant potential in the development of intelligent applications and systems such as LLM-based agents and agent operating systems (AIOS). However, when these applications and systems interact with the underlying file system, the file system still remains the traditional paradigm: reliant on manual navigation through precise commands. This paradigm poses a bottleneck to the usability of these systems as users are required to navigate complex folder hierarchies and remember cryptic file names. To address this limitation, we propose an LLM-based semantic file system ( LSFS ) for prompt-driven file management. Unlike conventional approaches, LSFS incorporates LLMs to enable users or agents to interact with files through natural language prompts, facilitating semantic file management. At the macro-level, we develop a comprehensive API set to achieve semantic file management functionalities, such as semantic file retrieval, file update monitoring and summarization, and semantic file rollback). At the micro-level, we store files by constructing semantic indexes for them, design and implement syscalls of different semantic operations (e.g., CRUD, group by, join) powered by vector database. Our experiments show that LSFS offers significant improvements over traditional file systems in terms of user convenience, the diversity of supported functions, and the accuracy and efficiency of file operations. Additionally, with the integration of LLM, our system enables more intelligent file management tasks, such as content summarization and version comparison, further enhancing its capabilities.