DeepFlow: Serverloses Skalierbares Bereitstellen von Großen Sprachmodellen

DeepFlow: Serverless Large Language Model Serving at Scale

January 24, 2025

Autoren: Junhao Hu, Jiang Xu, Zhixia Liu, Yulong He, Yuetao Chen, Hao Xu, Jiang Liu, Baoquan Zhang, Shining Wan, Gengyuan Dan, Zhiyu Dong, Zhihao Ren, Jie Meng, Chao He, Changhong Liu, Tao Xie, Dayun Lin, Qin Zhang, Yue Yu, Hao Feng, Xusheng Chen, Yizhou Shan

cs.AI

Zusammenfassung

Dieses Papier stellt DeepFlow vor, eine skalierbare und serverlose KI-Plattform, die darauf ausgelegt ist, große Sprachmodelle effizient in Cloud-Umgebungen im großen Maßstab zu bedienen. DeepFlow begegnet zentralen Herausforderungen wie Ressourcenzuweisung, Effizienz der Bedienung und Startlatenzen durch vier Hauptkomponenten im Design. Erstens verwendet es eine einfache serverlose Abstraktion namens Anforderungs-Job-Aufgaben-Modell, das hilft, KI-Workloads über Post-Training und Modellbedienungsaufgaben zu verwalten. Zweitens baut es einen hausinternen Bedienungsmotor namens FlowServe mit einem mikrokernel-inspirierten Design, NPU-zentrierter Ausführung und SPMD-basierter Parallelität, um die Bedienung von Sprachmodellen zu optimieren. Das System umfasst auch neuartige Zeitplanungsrichtlinien, die sowohl für PD-disaggregierte als auch für PD-kolokalisierte Konfigurationen maßgeschneidert sind. Mit Optimierungen wie vorab aufgewärmten Pods, DRAM-Vorladung und NPU-Fork kann DeepFlow in Sekunden auf bis zu 64 Instanzen skaliert werden. DeepFlow ist seit über einem Jahr in Produktion, arbeitet auf einem großen Ascend NPU-Cluster und bietet branchenübliche APIs für Feinabstimmung, Agentenbedienung und Modellbedienung für unsere Kunden.

English

This paper introduces DeepFlow, a scalable and serverless AI platform designed to efficiently serve large language models (LLMs) at scale in cloud environments. DeepFlow addresses key challenges such as resource allocation, serving efficiency, and cold start latencies through four main design components. First, it uses a simple serverless abstraction called the request-job-task model, which helps manage AI workloads across post-training and model serving tasks. Second, it builds an in-house serving engine FlowServe using a microkernel-inspired design, NPU-centric execution, and SPMD-based parallelism to optimize LLM serving. The system also includes novel scheduling policies tailored for both PD-disaggregated and PD-colocated configurations. With optimizations like pre-warmed pods, DRAM pre-loading, and NPU-fork, DeepFlow can scale up to 64 instances in seconds. DeepFlow has been in production for over a year, operating on a large Ascend NPU cluster and providing industrystandard APIs for fine-tuning, agent serving, and model serving to our customers.