Leis de Escalonamento para Treinamento com Quantização de Ponto Flutuante

Scaling Laws for Floating Point Quantization Training

January 5, 2025

Autores: Xingwu Sun, Shuaipeng Li, Ruobing Xie, Weidong Han, Kan Wu, Zhen Yang, Yixing Li, An Wang, Shuai Li, Jinbao Xue, Yu Cheng, Yangyu Tao, Zhanhui Kang, Chengzhong Xu, Di Wang, Jie Jiang

cs.AI

Resumo

O treinamento de baixa precisão é considerado uma estratégia eficaz para reduzir tanto os custos de treinamento quanto os custos de inferência downstream. As leis de escalonamento anteriores para precisão focam principalmente na quantização de inteiros, que prestam menos atenção aos componentes na quantização de ponto flutuante e, portanto, não conseguem se adequar bem às perdas de LLM nesse cenário. Em contraste, embora o treinamento de quantização de ponto flutuante seja mais comumente implementado na produção, a pesquisa sobre isso tem sido relativamente superficial. Neste artigo, exploramos minuciosamente os efeitos das metas de quantização de ponto flutuante, bits de expoente, bits de mantissa e a granularidade de cálculo do fator de escala no desempenho de treinamento de quantização de ponto flutuante de modelos LLM. Ao apresentar uma lei de escalonamento unificada precisa para quantização de ponto flutuante, também fornecemos sugestões valiosas para a comunidade: (1) Os bits de expoente contribuem ligeiramente mais para o desempenho do modelo do que os bits de mantissa. Fornecemos a proporção ótima de bits de expoente-mantissa para diferentes números de bits, disponível para referência futura pelos fabricantes de hardware; (2) Descobrimos a formação do tamanho crítico de dados no treinamento de LLM de baixa precisão. Muitos dados de treinamento que excedem o tamanho crítico de dados trarão inversamente degradação no desempenho do LLM; (3) A precisão ótima de quantização de ponto flutuante é diretamente proporcional ao poder computacional, mas dentro de uma ampla faixa de poder computacional, estimamos que a melhor precisão de custo-desempenho está entre 4-8 bits.

English

Low-precision training is considered an effective strategy for reducing both training and downstream inference costs. Previous scaling laws for precision mainly focus on integer quantization, which pay less attention to the constituents in floating-point quantization and thus cannot well fit the LLM losses in this scenario. In contrast, while floating-point quantization training is more commonly implemented in production, the research on it has been relatively superficial. In this paper, we thoroughly explore the effects of floating-point quantization targets, exponent bits, mantissa bits, and the calculation granularity of the scaling factor in floating-point quantization training performance of LLM models. While presenting an accurate floating-point quantization unified scaling law, we also provide valuable suggestions for the community: (1) Exponent bits contribute slightly more to the model performance than mantissa bits. We provide the optimal exponent-mantissa bit ratio for different bit numbers, which is available for future reference by hardware manufacturers; (2) We discover the formation of the critical data size in low-precision LLM training. Too much training data exceeding the critical data size will inversely bring in degradation of LLM performance; (3) The optimal floating-point quantization precision is directly proportional to the computational power, but within a wide computational power range, we estimate that the best cost-performance precision lies between 4-8 bits.