"Dammi BF16 o dammi la morte"? Scambi tra accuratezza e prestazioni nella quantizzazione di LLM

"Give Me BF16 or Give Me Death"? Accuracy-Performance Trade-Offs in LLM Quantization

November 4, 2024

Autori: Eldar Kurtic, Alexandre Marques, Shubhra Pandit, Mark Kurtz, Dan Alistarh

cs.AI

Abstract

Nonostante la popolarità della quantizzazione dei grandi modelli linguistici (LLM) per l'accelerazione dell'inferezza, rimane significativa incertezza riguardo ai compromessi tra accuratezza e prestazioni associati a vari formati di quantizzazione. Presentiamo uno studio empirico completo sull'accuratezza quantizzata, valutando formati di quantizzazione popolari (FP8, INT8, INT4) su benchmark accademici e compiti reali, sull'intera famiglia di modelli Llama-3.1. Inoltre, il nostro studio esamina le differenze nel testo generato dai modelli quantizzati rispetto ai loro corrispettivi non compressi. Oltre ai benchmark, presentiamo anche un paio di miglioramenti nella quantizzazione che ci hanno permesso di ottenere risultati di recupero dell'accuratezza all'avanguardia. La nostra indagine, che comprende oltre 500.000 valutazioni individuali, porta a diverse conclusioni chiave: (1) la quantizzazione dei pesi e delle attivazioni in FP8 (W8A8-FP) è senza perdita su tutte le scale del modello, (2) la quantizzazione dei pesi e delle attivazioni in INT8 (W8A8-INT), quando correttamente tarata, comporta una degradazione dell'accuratezza sorprendentemente bassa dell'1-3%, e (3) la quantizzazione solo dei pesi in INT4 (W4A16-INT) è competitiva con la quantizzazione dei pesi e delle attivazioni in interi a 8 bit. Per affrontare la questione del "miglior" formato per un determinato ambiente di distribuzione, conduciamo un'analisi delle prestazioni di inferenza utilizzando il popolare framework open-source vLLM su varie architetture GPU. Troviamo che W4A16 offre la migliore efficienza economica per distribuzioni sincrone e per distribuzioni asincrone su GPU di fascia media. Allo stesso tempo, i formati W8A8 eccellono nella distribuzione asincrona "batching continuo" di modelli di dimensioni medie e grandi su GPU di fascia alta. I nostri risultati forniscono un insieme di linee guida pratiche per distribuire LLM quantizzati su diverse scale e requisiti di prestazioni.

English

Despite the popularity of large language model (LLM) quantization for inference acceleration, significant uncertainty remains regarding the accuracy-performance trade-offs associated with various quantization formats. We present a comprehensive empirical study of quantized accuracy, evaluating popular quantization formats (FP8, INT8, INT4) across academic benchmarks and real-world tasks, on the entire Llama-3.1 model family. Additionally, our study examines the difference in text generated by quantized models versus their uncompressed counterparts. Beyond benchmarks, we also present a couple of quantization improvements which allowed us to obtain state-of-the-art accuracy recovery results. Our investigation, encompassing over 500,000 individual evaluations, yields several key findings: (1) FP8 weight and activation quantization (W8A8-FP) is lossless across all model scales, (2) INT8 weight and activation quantization (W8A8-INT), when properly tuned, incurs surprisingly low 1-3% accuracy degradation, and (3) INT4 weight-only quantization (W4A16-INT) is competitive with 8-bit integer weight and activation quantization. To address the question of the "best" format for a given deployment environment, we conduct inference performance analysis using the popular open-source vLLM framework on various GPU architectures. We find that W4A16 offers the best cost-efficiency for synchronous deployments, and for asynchronous deployment on mid-tier GPUs. At the same time, W8A8 formats excel in asynchronous "continuous batching" deployment of mid- and large-size models on high-end GPUs. Our results provide a set of practical guidelines for deploying quantized LLMs across scales and performance requirements.