ZClip: Mitigazione Adattiva degli Spike per il Pre-Addestramento di LLM

ZClip: Adaptive Spike Mitigation for LLM Pre-Training

April 3, 2025

Autori: Abhay Kumar, Louis Owen, Nilabhra Roy Chowdhury, Fabian Güra

cs.AI

Abstract

L'addestramento di grandi modelli linguistici (LLM) presenta numerose sfide, tra cui instabilità del gradiente e picchi di perdita. Questi fenomeni possono portare a una divergenza catastrofica, richiedendo un costoso ripristino dei checkpoint e il salto di batch di dati. Le tradizionali tecniche di clipping del gradiente, come i metodi costanti o basati sulla norma, non riescono a risolvere efficacemente questi problemi a causa della loro dipendenza da soglie fisse o euristiche, portando a un apprendimento inefficiente e richiedendo frequenti interventi manuali. In questo lavoro, proponiamo ZClip, un algoritmo di clipping del gradiente adattativo che regola dinamicamente la soglia di clipping in base alle proprietà statistiche delle norme del gradiente nel tempo. A differenza delle strategie reattive precedenti, ZClip si adatta proattivamente alle dinamiche di addestramento senza fare alcuna ipotesi preliminare sulla scala e sull'evoluzione temporale delle norme del gradiente. Nel suo nucleo, sfrutta il rilevamento di anomalie basato sullo z-score per identificare e mitigare i grandi picchi di gradiente, prevenendo picchi di perdita maligni senza interferire con la convergenza in altri casi. Il nostro codice è disponibile all'indirizzo: https://github.com/bluorion-com/ZClip.

English

Training large language models (LLMs) presents numerous challenges, including gradient instability and loss spikes. These phenomena can lead to catastrophic divergence, requiring costly checkpoint restoration and data batch skipping. Traditional gradient clipping techniques, such as constant or norm-based methods, fail to address these issues effectively due to their reliance on fixed thresholds or heuristics, leading to inefficient learning and requiring frequent manual intervention. In this work, we propose ZClip, an adaptive gradient clipping algorithm that dynamically adjusts the clipping threshold based on statistical properties of gradient norms over time. Unlike prior reactive strategies, ZClip proactively adapts to training dynamics without making any prior assumptions on the scale and the temporal evolution of gradient norms. At its core, it leverages z-score-based anomaly detection to identify and mitigate large gradient spikes, preventing malignant loss spikes while not interfering with convergence otherwise. Our code is available at: https://github.com/bluorion-com/ZClip.