Optimierung des Trainings großer Sprachmodelle unter Verwendung von FP4-Quantisierung.

Optimizing Large Language Model Training Using FP4 Quantization

January 28, 2025

Autoren: Ruizhe Wang, Yeyun Gong, Xiao Liu, Guoshuai Zhao, Ziyue Yang, Baining Guo, Zhengjun Zha, Peng Cheng

cs.AI

Zusammenfassung

Die wachsenden Rechenanforderungen für das Training großer Sprachmodelle (LLMs) erfordern effizientere Methoden. Quantisiertes Training bietet eine vielversprechende Lösung, indem es Niedrigbit-Arithmetikoperationen ermöglicht, um diese Kosten zu senken. Während die FP8-Präzision die Machbarkeit gezeigt hat, bleibt die Nutzung von FP4 eine Herausforderung aufgrund signifikanter Quantisierungsfehler und begrenzter Repräsentationskapazität. Diese Arbeit stellt das erste FP4-Trainingsframework für LLMs vor, das diese Herausforderungen mit zwei Schlüsselinnovationen angeht: einem differentiellen Quantisierungsschätzer für präzise Gewichtsaktualisierungen und einer Ausreißer-Klemm- und Kompensationsstrategie zur Verhinderung von Aktivierungskollaps. Um Stabilität zu gewährleisten, integriert das Framework ein gemischtpräzises Trainingsschema und eine vektorweise Quantisierung. Experimentelle Ergebnisse zeigen, dass unser FP4-Framework eine Genauigkeit erreicht, die mit BF16 und FP8 vergleichbar ist, bei minimaler Verschlechterung und effektiver Skalierung auf 13B-Parameter LLMs, die auf bis zu 100B Token trainiert wurden. Mit dem Aufkommen von Hardware der nächsten Generation, die FP4 unterstützt, legt unser Framework eine Grundlage für effizientes Training mit ultraniedriger Präzision.

English

The growing computational demands of training large language models (LLMs) necessitate more efficient methods. Quantized training presents a promising solution by enabling low-bit arithmetic operations to reduce these costs. While FP8 precision has demonstrated feasibility, leveraging FP4 remains a challenge due to significant quantization errors and limited representational capacity. This work introduces the first FP4 training framework for LLMs, addressing these challenges with two key innovations: a differentiable quantization estimator for precise weight updates and an outlier clamping and compensation strategy to prevent activation collapse. To ensure stability, the framework integrates a mixed-precision training scheme and vector-wise quantization. Experimental results demonstrate that our FP4 framework achieves accuracy comparable to BF16 and FP8, with minimal degradation, scaling effectively to 13B-parameter LLMs trained on up to 100B tokens. With the emergence of next-generation hardware supporting FP4, our framework sets a foundation for efficient ultra-low precision training.