"Geef mij BF16 of geef mij de dood"? Nauwkeurigheids-prestatieafwegingen in LLM-kwantisering

"Give Me BF16 or Give Me Death"? Accuracy-Performance Trade-Offs in LLM Quantization

November 4, 2024

Auteurs: Eldar Kurtic, Alexandre Marques, Shubhra Pandit, Mark Kurtz, Dan Alistarh

cs.AI

Samenvatting

Ondanks de populariteit van de kwantisatie van grote taalmodellen (LLM) voor versnelling van inferentie, blijft er aanzienlijke onzekerheid bestaan over de nauwkeurigheids-prestatieafwegingen die gepaard gaan met verschillende kwantisatieformaten. We presenteren een uitgebreide empirische studie van gekwantiseerde nauwkeurigheid, waarbij populaire kwantisatieformaten (FP8, INT8, INT4) worden geëvalueerd op academische benchmarks en real-world taken, op de volledige Llama-3.1 model familie. Daarnaast onderzoekt onze studie het verschil in gegenereerde tekst door gekwantiseerde modellen versus hun ongecomprimeerde tegenhangers. Naast benchmarks presenteren we ook een paar kwantisatieverbeteringen die ons in staat stelden om resultaten van state-of-the-art nauwkeurigheidsherstel te behalen. Ons onderzoek, waarbij meer dan 500.000 individuele evaluaties zijn betrokken, levert verschillende belangrijke bevindingen op: (1) FP8 gewichts- en activiteitskwantisatie (W8A8-FP) is verliesvrij over alle model schalen, (2) INT8 gewichts- en activiteitskwantisatie (W8A8-INT), wanneer correct afgestemd, leidt tot verrassend lage 1-3% nauwkeurigheidsdegradatie, en (3) INT4 alleen-gewicht kwantisatie (W4A16-INT) is concurrerend met 8-bit gehele getal gewichts- en activiteitskwantisatie. Om de vraag naar het "beste" formaat voor een bepaalde implementatieomgeving aan te pakken, voeren we een analyse van inferentieprestaties uit met behulp van het populaire open-source vLLM-framework op verschillende GPU-architecturen. We vinden dat W4A16 de beste kostenefficiëntie biedt voor synchrone implementaties, en voor asynchrone implementatie op mid-tier GPU's. Tegelijkertijd excelleren W8A8-formaten in asynchrone "continue batch" implementatie van middelgrote en grote modellen op high-end GPU's. Onze resultaten bieden een reeks praktische richtlijnen voor het implementeren van gekwantiseerde LLM's over verschillende schalen en prestatievereisten.

English

Despite the popularity of large language model (LLM) quantization for inference acceleration, significant uncertainty remains regarding the accuracy-performance trade-offs associated with various quantization formats. We present a comprehensive empirical study of quantized accuracy, evaluating popular quantization formats (FP8, INT8, INT4) across academic benchmarks and real-world tasks, on the entire Llama-3.1 model family. Additionally, our study examines the difference in text generated by quantized models versus their uncompressed counterparts. Beyond benchmarks, we also present a couple of quantization improvements which allowed us to obtain state-of-the-art accuracy recovery results. Our investigation, encompassing over 500,000 individual evaluations, yields several key findings: (1) FP8 weight and activation quantization (W8A8-FP) is lossless across all model scales, (2) INT8 weight and activation quantization (W8A8-INT), when properly tuned, incurs surprisingly low 1-3% accuracy degradation, and (3) INT4 weight-only quantization (W4A16-INT) is competitive with 8-bit integer weight and activation quantization. To address the question of the "best" format for a given deployment environment, we conduct inference performance analysis using the popular open-source vLLM framework on various GPU architectures. We find that W4A16 offers the best cost-efficiency for synchronous deployments, and for asynchronous deployment on mid-tier GPUs. At the same time, W8A8 formats excel in asynchronous "continuous batching" deployment of mid- and large-size models on high-end GPUs. Our results provide a set of practical guidelines for deploying quantized LLMs across scales and performance requirements.