AlayaDB: La Fondazione Dati per un'Inferenza Efficiente ed Efficace nei Modelli Linguistici a Lungo Contesto

AlayaDB: The Data Foundation for Efficient and Effective Long-context LLM Inference

April 14, 2025

Autori: Yangshen Deng, Zhengxin You, Long Xiang, Qilong Li, Peiqi Yuan, Zhaoyang Hong, Yitao Zheng, Wanting Li, Runzhong Li, Haotian Liu, Kyriakos Mouratidis, Man Lung Yiu, Huan Li, Qiaomu Shen, Rui Mao, Bo Tang

cs.AI

Abstract

AlayaDB è un sistema di database vettoriale all'avanguardia, progettato nativamente per un'inferenza efficiente ed efficace su contesti lunghi per i Modelli Linguistici di Grande Dimensione (LLM) presso AlayaDB AI. Nello specifico, disaccoppia la cache KV e il calcolo dell'attenzione dai sistemi di inferenza degli LLM, incapsulandoli in un innovativo sistema di database vettoriale. Per i fornitori di Modelli come Servizio (MaaS), AlayaDB consuma meno risorse hardware e offre una qualità di generazione superiore per vari carichi di lavoro con diversi tipi di Obiettivi di Livello di Servizio (SLO), rispetto alle soluzioni alternative esistenti (ad esempio, disaggregazione della cache KV, attenzione sparsa basata su retrieval). Il punto cruciale di AlayaDB è che astrae il calcolo dell'attenzione e la gestione della cache per l'inferenza degli LLM in una procedura di elaborazione delle query, e ottimizza le prestazioni attraverso un ottimizzatore di query nativo. In questo lavoro, dimostriamo l'efficacia di AlayaDB attraverso (i) tre casi d'uso dei nostri partner industriali e (ii) risultati sperimentali estesi su benchmark di inferenza degli LLM.

English

AlayaDB is a cutting-edge vector database system natively architected for efficient and effective long-context inference for Large Language Models (LLMs) at AlayaDB AI. Specifically, it decouples the KV cache and attention computation from the LLM inference systems, and encapsulates them into a novel vector database system. For the Model as a Service providers (MaaS), AlayaDB consumes fewer hardware resources and offers higher generation quality for various workloads with different kinds of Service Level Objectives (SLOs), when comparing with the existing alternative solutions (e.g., KV cache disaggregation, retrieval-based sparse attention). The crux of AlayaDB is that it abstracts the attention computation and cache management for LLM inference into a query processing procedure, and optimizes the performance via a native query optimizer. In this work, we demonstrate the effectiveness of AlayaDB via (i) three use cases from our industry partners, and (ii) extensive experimental results on LLM inference benchmarks.