La quantizzazione compromette il ragionamento? Uno studio empirico sui modelli di ragionamento quantizzati

Quantization Hurts Reasoning? An Empirical Study on Quantized Reasoning Models

April 7, 2025

Autori: Ruikang Liu, Yuxuan Sun, Manyi Zhang, Haoli Bai, Xianzhi Yu, Tiezheng Yu, Chun Yuan, Lu Hou

cs.AI

Abstract

I recenti progressi nei modelli linguistici di ragionamento hanno dimostrato prestazioni notevoli in compiti complessi, ma il loro processo esteso di ragionamento a catena di pensiero aumenta il sovraccarico inferenziale. Sebbene la quantizzazione sia stata ampiamente adottata per ridurre il costo inferenziale dei grandi modelli linguistici, il suo impatto sui modelli di ragionamento rimane poco studiato. In questo studio, conduciamo la prima analisi sistematica sui modelli di ragionamento quantizzati, valutando le famiglie open-source DeepSeek-R1-Distilled Qwen e LLaMA, che vanno da 1,5B a 70B parametri, e QwQ-32B. La nostra indagine copre la quantizzazione dei pesi, della cache KV e delle attivazioni utilizzando algoritmi all'avanguardia a diverse larghezze di bit, con una valutazione estesa su benchmark di ragionamento matematico (AIME, MATH-500), scientifico (GPQA) e di programmazione (LiveCodeBench). I nostri risultati rivelano che, sebbene sia possibile ottenere una quantizzazione senza perdite con W8A8 o W4A16, larghezze di bit inferiori introducono rischi significativi di accuratezza. Identifichiamo inoltre la dimensione del modello, l'origine del modello e la difficoltà del compito come determinanti critici delle prestazioni. Contrariamente alle aspettative, i modelli quantizzati non mostrano una maggiore lunghezza dell'output. Inoltre, un ridimensionamento strategico delle dimensioni del modello o dei passi di ragionamento può migliorare efficacemente le prestazioni. Tutti i modelli quantizzati e i codici saranno resi disponibili open-source su https://github.com/ruikangliu/Quantized-Reasoning-Models.

English

Recent advancements in reasoning language models have demonstrated remarkable performance in complex tasks, but their extended chain-of-thought reasoning process increases inference overhead. While quantization has been widely adopted to reduce the inference cost of large language models, its impact on reasoning models remains understudied. In this study, we conduct the first systematic study on quantized reasoning models, evaluating the open-sourced DeepSeek-R1-Distilled Qwen and LLaMA families ranging from 1.5B to 70B parameters, and QwQ-32B. Our investigation covers weight, KV cache, and activation quantization using state-of-the-art algorithms at varying bit-widths, with extensive evaluation across mathematical (AIME, MATH-500), scientific (GPQA), and programming (LiveCodeBench) reasoning benchmarks. Our findings reveal that while lossless quantization can be achieved with W8A8 or W4A16 quantization, lower bit-widths introduce significant accuracy risks. We further identify model size, model origin, and task difficulty as critical determinants of performance. Contrary to expectations, quantized models do not exhibit increased output lengths. In addition, strategically scaling the model sizes or reasoning steps can effectively enhance the performance. All quantized models and codes will be open-sourced in https://github.com/ruikangliu/Quantized-Reasoning-Models.