Varianzkontrolle durch Gewichtsneuskalierung im Pre-Training von LLMs

Variance Control via Weight Rescaling in LLM Pre-training

March 21, 2025

Autoren: Louis Owen, Abhay Kumar, Nilabhra Roy Chowdhury, Fabian Güra

cs.AI

Zusammenfassung

Das Ergebnis des Pre-Trainings von Large Language Models (LLMs) hängt stark von der Gewichtsinitialisierung und den Strategien zur Varianzkontrolle ab. Obwohl die Bedeutung der anfänglichen Varianzkontrolle in neuronalen Netzwerken im Allgemeinen gut dokumentiert ist, ist die Literatur zur Initialisierung und zur Steuerung ihres Wachstums während des LLM-Pre-Trainings speziell eher spärlich. In diesem Artikel führen wir das Layer Index Rescaling (LIR)-Gewichtsinitialisierungsschema und die Target Variance Rescaling (TVR)-Varianzkontrollstrategie ein. Experimente mit einem 1B-Parameter-LLaMA-Modell zeigen, dass eine bessere Varianzverwaltung durch diese Techniken erhebliche Verbesserungen bei der Leistung in nachgelagerten Aufgaben (bis zu 4,6 % bei gängigen Pre-Training-Benchmarks) bewirkt und extreme Aktivierungswerte reduziert, wodurch Herausforderungen im Zusammenhang mit Quantisierung und Training mit niedriger Präzision gemildert werden. Unser Code ist verfügbar unter: https://github.com/bluorion-com/weight_rescaling.

English

The outcome of Large Language Model (LLM) pre-training strongly depends on weight initialization and variance control strategies. Although the importance of initial variance control has been well documented in neural networks in general, the literature on initialization and management of its growth during LLM pre-training, specifically, is somewhat sparse. In this paper, we introduce the Layer Index Rescaling (LIR) weight initialization scheme, and the Target Variance Rescaling (TVR) variance control strategy. Experiments on a 1B parameter LLaMA model demonstrate that better variance management using these techniques yields substantial improvements in downstream task performance (up to 4.6% on common pre-training benchmarks) and reduces extreme activation values, thus mitigating challenges associated with quantization and low-precision training. Our code is available at: https://github.com/bluorion-com/weight_rescaling.