Kommunikationseffizientes Sprachmodelltraining skaliert zuverlässig und robust: Skalierungsgesetze für DiLoCo

Communication-Efficient Language Model Training Scales Reliably and Robustly: Scaling Laws for DiLoCo

March 12, 2025

Autoren: Zachary Charles, Gabriel Teston, Lucio Dery, Keith Rush, Nova Fallen, Zachary Garrett, Arthur Szlam, Arthur Douillard

cs.AI

Zusammenfassung

Während wir zu immer größeren Modellen des maschinellen Lernens skalieren, führen die inhärenten häufigen Synchronisationsanforderungen datenparalleler Ansätze zu erheblichen Verlangsamungen, was eine kritische Herausforderung für die weitere Skalierung darstellt. Neuere Arbeiten entwickeln einen Ansatz (DiLoCo), der die Synchronisationsanforderungen reduziert, ohne die Modellqualität zu beeinträchtigen. Diese Arbeiten analysieren jedoch nicht sorgfältig, wie sich das Verhalten von DiLoCo mit der Modellgröße ändert. In dieser Arbeit untersuchen wir das Skalierungsgesetzverhalten von DiLoCo beim Training von LLMs unter einem festen Rechenbudget. Wir konzentrieren uns darauf, wie algorithmische Faktoren, einschließlich der Anzahl der Modellreplikate, Hyperparameter und des Token-Budgets, das Training auf Weise beeinflussen, die durch Skalierungsgesetze genau vorhergesagt werden können. Wir stellen fest, dass DiLoCo sowohl vorhersehbar als auch robust mit der Modellgröße skaliert. Bei guter Abstimmung skaliert DiLoCo besser als datenparalleles Training mit der Modellgröße und kann datenparalleles Training sogar bei kleinen Modellgrößen übertreffen. Unsere Ergebnisse zeigen einen allgemeineren Nutzen von DiLoCo als bisher dokumentiert, einschließlich erhöhter optimaler Batch-Größen, verbesserter Downstream-Generalisierung mit der Skalierung und verbessertem Evaluationsverlust bei einem festen Token-Budget.

English

As we scale to more massive machine learning models, the frequent synchronization demands inherent in data-parallel approaches create significant slowdowns, posing a critical challenge to further scaling. Recent work develops an approach (DiLoCo) that relaxes synchronization demands without compromising model quality. However, these works do not carefully analyze how DiLoCo's behavior changes with model size. In this work, we study the scaling law behavior of DiLoCo when training LLMs under a fixed compute budget. We focus on how algorithmic factors, including number of model replicas, hyperparameters, and token budget affect training in ways that can be accurately predicted via scaling laws. We find that DiLoCo scales both predictably and robustly with model size. When well-tuned, DiLoCo scales better than data-parallel training with model size, and can outperform data-parallel training even at small model sizes. Our results showcase a more general set of benefits of DiLoCo than previously documented, including increased optimal batch sizes, improved downstream generalization with scale, and improved evaluation loss for a fixed token budget.