LIBMoE: Eine Bibliothek für umfassendes Benchmarking von Mixture of Experts in großen Sprachmodellen

LIBMoE: A Library for comprehensive benchmarking Mixture of Experts in Large Language Models

November 1, 2024

Autoren: Nam V. Nguyen, Thong T. Doan, Luong Tran, Van Nguyen, Quang Pham

cs.AI

Zusammenfassung

Mixture of Experts (MoEs) spielt eine wichtige Rolle bei der Entwicklung effizienterer und effektiverer großer Sprachmodelle (LLMs). Aufgrund der enormen Ressourcenanforderungen bleiben die Studien zu groß angelegten MoE-Algorithmen vielen Forschern unzugänglich. Diese Arbeit entwickelt LibMoE, ein umfassendes und modulares Framework zur Vereinfachung der Forschung, des Trainings und der Evaluation von MoE-Algorithmen. Basierend auf drei Kernprinzipien: (i) modulare Gestaltung, (ii) effizientes Training; (iii) umfassende Evaluation, macht LibMoE MoE in LLMs für eine breite Palette von Forschern zugänglicher, indem es die Trainings- und Evaluierungspipelines standardisiert. Unter Verwendung von LibMoE haben wir fünf führende MoE-Algorithmen über drei verschiedene LLMs und 11 Datensätze im Zero-Shot-Setting umfassend getestet. Die Ergebnisse zeigen, dass trotz der einzigartigen Eigenschaften alle MoE-Algorithmen bei einer Vielzahl von Aufgaben im Durchschnitt ähnlich abschneiden. Mit dem modularen Design und der umfangreichen Evaluation sind wir der Meinung, dass LibMoE für Forscher von unschätzbarem Wert sein wird, um bedeutende Fortschritte in Richtung der nächsten Generation von MoE und LLMs zu erzielen. Projektseite: https://fsoft-aic.github.io/fsoft-LibMoE.github.io.

English

Mixture of Experts (MoEs) plays an important role in the development of more efficient and effective large language models (LLMs). Due to the enormous resource requirements, studying large scale MoE algorithms remain in-accessible to many researchers. This work develops LibMoE, a comprehensive and modular framework to streamline the research, training, and evaluation of MoE algorithms. Built upon three core principles: (i) modular design, (ii) efficient training; (iii) comprehensive evaluation, LibMoE brings MoE in LLMs more accessible to a wide range of researchers by standardizing the training and evaluation pipelines. Using LibMoE, we extensively benchmarked five state-of-the-art MoE algorithms over three different LLMs and 11 datasets under the zero-shot setting. The results show that despite the unique characteristics, all MoE algorithms perform roughly similar when averaged across a wide range of tasks. With the modular design and extensive evaluation, we believe LibMoE will be invaluable for researchers to make meaningful progress towards the next generation of MoE and LLMs. Project page: https://fsoft-aic.github.io/fsoft-LibMoE.github.io.