MixLLM: Quantizzazione LLM con Precisione Mista Globale tra Caratteristiche di Uscita e Progettazione di Sistema Altamente Efficiente

MixLLM: LLM Quantization with Global Mixed-precision between Output-features and Highly-efficient System Design

December 19, 2024

Autori: Zhen Zheng, Xiaonan Song, Chuanjie Liu

cs.AI

Abstract

La quantizzazione è diventata una delle metodologie più efficaci per comprimere i LLM in dimensioni più piccole. Tuttavia, le soluzioni di quantizzazione esistenti mostrano ancora limitazioni, con una caduta di accuratezza non trascurabile o inefficienza di sistema. In questo articolo, effettuiamo un'analisi esaustiva dei principi generali di quantizzazione sul loro effetto sul triangolo di accuratezza, consumo di memoria ed efficienza di sistema. Proponiamo MixLLM che esplora il nuovo spazio di ottimizzazione della quantizzazione a precisione mista tra le caratteristiche di output basandosi sull'idea che diverse caratteristiche di output abbiano importanza diversa nel modello. MixLLM identifica le caratteristiche di output con elevata rilevanza nella visione globale piuttosto che all'interno di ciascun singolo strato, assegnando efficacemente una larghezza di bit maggiore alle caratteristiche di output che ne hanno maggior bisogno per ottenere un'accuratezza elevata con basso consumo di memoria. Presentiamo il punto ottimale di configurazione della quantizzazione dell'algoritmo-sistema che porta a un'accuratezza elevata e a un'efficienza di sistema. Per affrontare la sfida del sistema, progettiamo la dequantizzazione a due fasi per sfruttare facilmente il Tensor Core int8 e la conversione rapida del tipo di dati per ridurre significativamente l'overhead della dequantizzazione, e presentiamo il pipeline software per sovrapporre l'accesso alla memoria, la dequantizzazione e il MatMul nel modo migliore. Estesi esperimenti mostrano che con soli il 10% in più di bit, l'aumento del PPL può essere ridotto da circa 0.5 nel SOTA a entro 0.2 per Llama 3.1 70B, mentre in media MMLU-Pro migliora di 0.93 rispetto al SOTA di tre modelli popolari. Oltre alla sua accuratezza superiore, MixLLM raggiunge anche un'efficienza di sistema all'avanguardia.

English

Quantization has become one of the most effective methodologies to compress LLMs into smaller size. However, the existing quantization solutions still show limitations of either non-negligible accuracy drop or system inefficiency. In this paper, we make a comprehensive analysis of the general quantization principles on their effect to the triangle of accuracy, memory consumption and system efficiency. We propose MixLLM that explores the new optimization space of mixed-precision quantization between output features based on the insight that different output features matter differently in the model. MixLLM identifies the output features with high salience in the global view rather than within each single layer, effectively assigning the larger bit-width to output features that need it most to achieve good accuracy with low memory consumption. We present the sweet spot of quantization configuration of algorithm-system co-design that leads to high accuracy and system efficiency. To address the system challenge, we design the two-step dequantization to make use of the int8 Tensor Core easily and fast data type conversion to reduce dequantization overhead significantly, and present the software pipeline to overlap the memory access, dequantization and the MatMul to the best. Extensive experiments show that with only 10% more bits, the PPL increasement can be reduced from about 0.5 in SOTA to within 0.2 for Llama 3.1 70B, while on average MMLU-Pro improves by 0.93 over the SOTA of three popular models. In addition to its superior accuracy, MixLLM also achieves state-of-the-art system efficiency.