Ripensare il Pretraining Continuo Multilingue: Mix di Dati per l'Adattamento di LLM tra Lingue e Risorse

Rethinking Multilingual Continual Pretraining: Data Mixing for Adapting LLMs Across Languages and Resources

April 5, 2025

Autori: Zihao Li, Shaoxiong Ji, Hengyu Luo, Jörg Tiedemann

cs.AI

Abstract

I modelli linguistici di grandi dimensioni (LLM) mostrano significative disparità di prestazioni tra le lingue, beneficiando principalmente delle lingue ad alto livello di risorse mentre marginalizzano quelle sottorappresentate. Il Pretraining Continuo (CPT) è emerso come un approccio promettente per affrontare questo squilibrio, sebbene l'efficacia relativa delle strategie di dati monolingue, bilingue e arricchite con codice rimanga poco chiara. Questo studio valuta sistematicamente 36 configurazioni di CPT che coinvolgono tre modelli base multilingue, su oltre 30 lingue classificate come altruistiche, egoiste e stagnanti, che coprono vari livelli di risorse. I nostri risultati rivelano tre principali intuizioni: (1) Il CPT bilingue migliora la classificazione multilingue ma spesso causa problemi di mescolanza linguistica durante la generazione. (2) L'inclusione di dati di programmazione durante il CPT migliora costantemente l'accuratezza della classificazione multilingue, beneficiando in particolare le lingue a basso livello di risorse, ma introduce un compromesso degradando leggermente la qualità della generazione. (3) Contrariamente al lavoro precedente, osserviamo deviazioni sostanziali dalle classificazioni linguistiche in base al loro impatto sul trasferimento cross-linguale: le lingue classificate come altruistiche spesso influiscono negativamente sulle lingue correlate, le lingue egoiste mostrano un comportamento condizionale e dipendente dalla configurazione, e le lingue stagnanti dimostrano una sorprendente adattabilità in determinate condizioni di CPT. Queste interazioni sfumate evidenziano la complessità dell'apprendimento della rappresentazione multilingue, sottolineando l'importanza di studi sistematici sulla classificazione linguistica generalizzabile per informare le future strategie di CPT multilingue.

English

Large Language Models (LLMs) exhibit significant disparities in performance across languages, primarily benefiting high-resource languages while marginalizing underrepresented ones. Continual Pretraining (CPT) has emerged as a promising approach to address this imbalance, although the relative effectiveness of monolingual, bilingual, and code-augmented data strategies remains unclear. This study systematically evaluates 36 CPT configurations involving three multilingual base models, across 30+ languages categorized as altruistic, selfish, and stagnant, spanning various resource levels. Our findings reveal three major insights: (1) Bilingual CPT improves multilingual classification but often causes language mixing issues during generation. (2) Including programming code data during CPT consistently enhances multilingual classification accuracy, particularly benefiting low-resource languages, but introduces a trade-off by slightly degrading generation quality. (3) Contrary to prior work, we observe substantial deviations from language classifications according to their impact on cross-lingual transfer: Languages classified as altruistic often negatively affect related languages, selfish languages show conditional and configuration-dependent behavior, and stagnant languages demonstrate surprising adaptability under certain CPT conditions. These nuanced interactions emphasize the complexity of multilingual representation learning, underscoring the importance of systematic studies on generalizable language classification to inform future multilingual CPT strategies.