Optimaliseren van de training van grote taalmodellen met behulp van FP4 kwantisering.

Optimizing Large Language Model Training Using FP4 Quantization

January 28, 2025

Auteurs: Ruizhe Wang, Yeyun Gong, Xiao Liu, Guoshuai Zhao, Ziyue Yang, Baining Guo, Zhengjun Zha, Peng Cheng

cs.AI

Samenvatting

De groeiende rekenkundige eisen van het trainen van grote taalmodellen (LLM's) vereisen efficiëntere methoden. Gekwantiseerd trainen biedt een veelbelovende oplossing door het mogelijk maken van rekenkundige bewerkingen met weinig bits om deze kosten te verlagen. Hoewel FP8 precisie haalbaarheid heeft aangetoond, blijft het benutten van FP4 een uitdaging vanwege aanzienlijke kwantisatiefouten en beperkte representatiecapaciteit. Dit werk introduceert het eerste FP4-trainingskader voor LLM's, waarbij deze uitdagingen worden aangepakt met twee belangrijke innovaties: een differentieerbare kwantisatie schatter voor nauwkeurige gewichtsupdates en een strategie voor het vastklemmen en compenseren van uitschieters om activatievervorming te voorkomen. Om stabiliteit te waarborgen, integreert het kader een trainingsregeling met gemengde precisie en kwantisatie per vector. Experimentele resultaten tonen aan dat ons FP4-kader nauwkeurigheid behaalt die vergelijkbaar is met BF16 en FP8, met minimale degradatie, en effectief schaalt naar 13B-parameter LLM's getraind op tot 100B tokens. Met de opkomst van volgende generatie hardware die FP4 ondersteunt, legt ons kader een basis voor efficiënte training met ultralage precisie.

English

The growing computational demands of training large language models (LLMs) necessitate more efficient methods. Quantized training presents a promising solution by enabling low-bit arithmetic operations to reduce these costs. While FP8 precision has demonstrated feasibility, leveraging FP4 remains a challenge due to significant quantization errors and limited representational capacity. This work introduces the first FP4 training framework for LLMs, addressing these challenges with two key innovations: a differentiable quantization estimator for precise weight updates and an outlier clamping and compensation strategy to prevent activation collapse. To ensure stability, the framework integrates a mixed-precision training scheme and vector-wise quantization. Experimental results demonstrate that our FP4 framework achieves accuracy comparable to BF16 and FP8, with minimal degradation, scaling effectively to 13B-parameter LLMs trained on up to 100B tokens. With the emergence of next-generation hardware supporting FP4, our framework sets a foundation for efficient ultra-low precision training.