"Gib mir BF16 oder gib mir den Tod"? Genauigkeits-Leistungskompromisse in der LLM-Quantisierung

"Give Me BF16 or Give Me Death"? Accuracy-Performance Trade-Offs in LLM Quantization

November 4, 2024

Autoren: Eldar Kurtic, Alexandre Marques, Shubhra Pandit, Mark Kurtz, Dan Alistarh

cs.AI

Zusammenfassung

Trotz der Beliebtheit der Quantisierung großer Sprachmodell (LLM) zur Beschleunigung der Inferenz bestehen erhebliche Unsicherheiten hinsichtlich der Genauigkeits-Leistungs-Abwägungen, die mit verschiedenen Quantisierungsformaten verbunden sind. Wir präsentieren eine umfassende empirische Studie zur quantisierten Genauigkeit, die beliebte Quantisierungsformate (FP8, INT8, INT4) anhand akademischer Benchmarks und realer Aufgaben im gesamten Llama-3.1-Modellfamilie bewertet. Darüber hinaus untersucht unsere Studie den Unterschied im von quantisierten Modellen im Vergleich zu ihren unkomprimierten Gegenstücken generierten Text. Neben Benchmarks präsentieren wir auch ein paar Quantisierungsverbesserungen, die es uns ermöglichten, Spitzenwerte bei der Genauigkeitswiederherstellung zu erzielen. Unsere Untersuchung, die über 500.000 einzelne Bewertungen umfasst, ergibt mehrere wichtige Erkenntnisse: (1) FP8-Gewichts- und Aktivitätsquantisierung (W8A8-FP) ist verlustfrei über alle Modellskalen hinweg, (2) INT8-Gewichts- und Aktivitätsquantisierung (W8A8-INT) verursacht bei ordnungsgemäßer Abstimmung überraschend geringe 1-3%ige Genauigkeitsverschlechterung und (3) INT4-Gewichtsquantisierung allein (W4A16-INT) ist konkurrenzfähig mit 8-Bit-Ganzzahl-Gewichts- und Aktivitätsquantisierung. Um die Frage nach dem "besten" Format für eine bestimmte Bereitstellungsumgebung zu beantworten, führen wir eine Inferenzleistungsanalyse unter Verwendung des beliebten Open-Source-vLLM-Frameworks auf verschiedenen GPU-Architekturen durch. Wir stellen fest, dass W4A16 die beste Kosten-Effizienz für synchrone Bereitstellungen bietet und für asynchrone Bereitstellung auf mittleren GPUs. Gleichzeitig zeichnen sich W8A8-Formate bei asynchronen "kontinuierlichen Stapelverarbeitungs"-Bereitstellungen von mittleren und großen Modellen auf High-End-GPUs aus. Unsere Ergebnisse liefern eine Reihe praktischer Leitlinien für die Bereitstellung quantisierter LLMs über verschiedene Skalen und Leistungsanforderungen hinweg.

English

Despite the popularity of large language model (LLM) quantization for inference acceleration, significant uncertainty remains regarding the accuracy-performance trade-offs associated with various quantization formats. We present a comprehensive empirical study of quantized accuracy, evaluating popular quantization formats (FP8, INT8, INT4) across academic benchmarks and real-world tasks, on the entire Llama-3.1 model family. Additionally, our study examines the difference in text generated by quantized models versus their uncompressed counterparts. Beyond benchmarks, we also present a couple of quantization improvements which allowed us to obtain state-of-the-art accuracy recovery results. Our investigation, encompassing over 500,000 individual evaluations, yields several key findings: (1) FP8 weight and activation quantization (W8A8-FP) is lossless across all model scales, (2) INT8 weight and activation quantization (W8A8-INT), when properly tuned, incurs surprisingly low 1-3% accuracy degradation, and (3) INT4 weight-only quantization (W4A16-INT) is competitive with 8-bit integer weight and activation quantization. To address the question of the "best" format for a given deployment environment, we conduct inference performance analysis using the popular open-source vLLM framework on various GPU architectures. We find that W4A16 offers the best cost-efficiency for synchronous deployments, and for asynchronous deployment on mid-tier GPUs. At the same time, W8A8 formats excel in asynchronous "continuous batching" deployment of mid- and large-size models on high-end GPUs. Our results provide a set of practical guidelines for deploying quantized LLMs across scales and performance requirements.