MH-MoE: Misto di Esperti a Testa Multipla

MH-MoE:Multi-Head Mixture-of-Experts

November 25, 2024

Autori: Shaohan Huang, Xun Wu, Shuming Ma, Furu Wei

cs.AI

Abstract

Il modello Multi-Head Mixture-of-Experts (MH-MoE) dimostra prestazioni superiori utilizzando il meccanismo multi-head per attentamente considerare le informazioni provenienti da vari spazi di rappresentazione all'interno di differenti esperti. In questo articolo, presentiamo una nuova implementazione di MH-MoE che mantiene sia il numero di operazioni in virgola mobile (FLOPs) che il numero di parametri paragonabile con i modelli sparsi Mixture of Experts. I risultati sperimentali sui modelli linguistici mostrano che la nuova implementazione porta a miglioramenti qualitativi rispetto sia ai modelli MoE standard che ai modelli MoE a grana fine. Inoltre, i nostri esperimenti dimostrano che MH-MoE è compatibile con i Large Language Models (LLM) a 1 bit come BitNet.

English

Multi-Head Mixture-of-Experts (MH-MoE) demonstrates superior performance by using the multi-head mechanism to collectively attend to information from various representation spaces within different experts. In this paper, we present a novel implementation of MH-MoE that maintains both FLOPs and parameter parity with sparse Mixture of Experts models. Experimental results on language models show that the new implementation yields quality improvements over both vanilla MoE and fine-grained MoE models. Additionally, our experiments demonstrate that MH-MoE is compatible with 1-bit Large Language Models (LLMs) such as BitNet.