LIBMoE: Una libreria per il benchmarking completo di Mixture of Experts in Grandi Modelli Linguistici

LIBMoE: A Library for comprehensive benchmarking Mixture of Experts in Large Language Models

November 1, 2024

Autori: Nam V. Nguyen, Thong T. Doan, Luong Tran, Van Nguyen, Quang Pham

cs.AI

Abstract

Il Mixture of Experts (MoE) gioca un ruolo importante nello sviluppo di modelli linguistici di grandi dimensioni (LLM) più efficienti ed efficaci. A causa dei considerevoli requisiti di risorse, lo studio degli algoritmi MoE su larga scala rimane inaccessibile a molti ricercatori. Questo lavoro sviluppa LibMoE, un framework completo e modulare per ottimizzare la ricerca, l'addestramento e la valutazione degli algoritmi MoE. Basato su tre principi fondamentali: (i) design modulare, (ii) addestramento efficiente; (iii) valutazione esaustiva, LibMoE rende i MoE nei LLM più accessibili a un'ampia gamma di ricercatori standardizzando i percorsi di addestramento e valutazione. Utilizzando LibMoE, abbiamo ampiamente testato cinque algoritmi MoE all'avanguardia su tre diversi LLM e 11 set di dati nell'impostazione zero-shot. I risultati mostrano che nonostante le caratteristiche uniche, tutti gli algoritmi MoE si comportano approssimativamente allo stesso modo quando mediati su una vasta gamma di compiti. Con il design modulare e la valutazione approfondita, riteniamo che LibMoE sarà prezioso per i ricercatori per compiere progressi significativi verso la prossima generazione di MoE e LLM. Pagina del progetto: https://fsoft-aic.github.io/fsoft-LibMoE.github.io.

English

Mixture of Experts (MoEs) plays an important role in the development of more efficient and effective large language models (LLMs). Due to the enormous resource requirements, studying large scale MoE algorithms remain in-accessible to many researchers. This work develops LibMoE, a comprehensive and modular framework to streamline the research, training, and evaluation of MoE algorithms. Built upon three core principles: (i) modular design, (ii) efficient training; (iii) comprehensive evaluation, LibMoE brings MoE in LLMs more accessible to a wide range of researchers by standardizing the training and evaluation pipelines. Using LibMoE, we extensively benchmarked five state-of-the-art MoE algorithms over three different LLMs and 11 datasets under the zero-shot setting. The results show that despite the unique characteristics, all MoE algorithms perform roughly similar when averaged across a wide range of tasks. With the modular design and extensive evaluation, we believe LibMoE will be invaluable for researchers to make meaningful progress towards the next generation of MoE and LLMs. Project page: https://fsoft-aic.github.io/fsoft-LibMoE.github.io.