DeepFlow: Serverloze Schaalbare Dienst voor Grote Taalmodellen

DeepFlow: Serverless Large Language Model Serving at Scale

January 24, 2025

Auteurs: Junhao Hu, Jiang Xu, Zhixia Liu, Yulong He, Yuetao Chen, Hao Xu, Jiang Liu, Baoquan Zhang, Shining Wan, Gengyuan Dan, Zhiyu Dong, Zhihao Ren, Jie Meng, Chao He, Changhong Liu, Tao Xie, Dayun Lin, Qin Zhang, Yue Yu, Hao Feng, Xusheng Chen, Yizhou Shan

cs.AI

Samenvatting

Deze paper introduceert DeepFlow, een schaalbaar en serverless AI-platform dat is ontworpen om op efficiënte wijze grote taalmodellen (LLM's) te bedienen op grote schaal in cloudomgevingen. DeepFlow pakt belangrijke uitdagingen aan zoals resource-toewijzing, efficiëntie van dienstverlening en opstartlatenties via vier hoofdontwerponderdelen. Ten eerste maakt het gebruik van een eenvoudige serverless abstractie genaamd het verzoek-taak-model, dat helpt bij het beheren van AI-werklasten over post-training en modeldiensttaken. Ten tweede bouwt het een in-house dienstmotor FlowServe met een ontwerp geïnspireerd op microkernel, uitvoering gericht op NPU, en SPMD-gebaseerde parallelisme om de dienstverlening van LLM's te optimaliseren. Het systeem omvat ook nieuwe planningsbeleidsregels die zijn afgestemd op zowel PD-ontkoppelde als PD-gecolocatiesystemen. Met optimalisaties zoals voorverwarmde pods, DRAM-voorladen en NPU-fork kan DeepFlow opschalen tot 64 instanties in seconden. DeepFlow is al meer dan een jaar in productie, draait op een groot Ascend NPU-cluster en biedt standaard API's voor het fijnafstemmen, dienstverlening van agenten en modeldienstverlening aan onze klanten.

English

This paper introduces DeepFlow, a scalable and serverless AI platform designed to efficiently serve large language models (LLMs) at scale in cloud environments. DeepFlow addresses key challenges such as resource allocation, serving efficiency, and cold start latencies through four main design components. First, it uses a simple serverless abstraction called the request-job-task model, which helps manage AI workloads across post-training and model serving tasks. Second, it builds an in-house serving engine FlowServe using a microkernel-inspired design, NPU-centric execution, and SPMD-based parallelism to optimize LLM serving. The system also includes novel scheduling policies tailored for both PD-disaggregated and PD-colocated configurations. With optimizations like pre-warmed pods, DRAM pre-loading, and NPU-fork, DeepFlow can scale up to 64 instances in seconds. DeepFlow has been in production for over a year, operating on a large Ascend NPU cluster and providing industrystandard APIs for fine-tuning, agent serving, and model serving to our customers.