Controllo della Varianza tramite Riscalatura dei Pesi nel Pre-addestramento di LLM

Variance Control via Weight Rescaling in LLM Pre-training

March 21, 2025

Autori: Louis Owen, Abhay Kumar, Nilabhra Roy Chowdhury, Fabian Güra

cs.AI

Abstract

Il risultato del pre-addestramento di modelli linguistici di grandi dimensioni (LLM) dipende fortemente dalle strategie di inizializzazione dei pesi e di controllo della varianza. Sebbene l'importanza del controllo iniziale della varianza sia ben documentata nelle reti neurali in generale, la letteratura sull'inizializzazione e sulla gestione della sua crescita durante il pre-addestramento degli LLM, in particolare, è piuttosto scarsa. In questo articolo, introduciamo lo schema di inizializzazione dei pesi Layer Index Rescaling (LIR) e la strategia di controllo della varianza Target Variance Rescaling (TVR). Esperimenti condotti su un modello LLaMA da 1 miliardo di parametri dimostrano che una migliore gestione della varianza attraverso queste tecniche produce miglioramenti sostanziali nelle prestazioni su task downstream (fino al 4,6% su benchmark comuni di pre-addestramento) e riduce i valori di attivazione estremi, mitigando così le sfide associate alla quantizzazione e all'addestramento a bassa precisione. Il nostro codice è disponibile all'indirizzo: https://github.com/bluorion-com/weight_rescaling.

English

The outcome of Large Language Model (LLM) pre-training strongly depends on weight initialization and variance control strategies. Although the importance of initial variance control has been well documented in neural networks in general, the literature on initialization and management of its growth during LLM pre-training, specifically, is somewhat sparse. In this paper, we introduce the Layer Index Rescaling (LIR) weight initialization scheme, and the Target Variance Rescaling (TVR) variance control strategy. Experiments on a 1B parameter LLaMA model demonstrate that better variance management using these techniques yields substantial improvements in downstream task performance (up to 4.6% on common pre-training benchmarks) and reduces extreme activation values, thus mitigating challenges associated with quantization and low-precision training. Our code is available at: https://github.com/bluorion-com/weight_rescaling.