Je Mixture-of-Experts LLM is stiekem een insluitingsmodel voor niets.

Your Mixture-of-Experts LLM Is Secretly an Embedding Model For Free

October 14, 2024

Auteurs: Ziyue Li, Tianyi Zhou

cs.AI

Samenvatting

Hoewel grote taalmodellen (LLM's) uitblinken in generatietaken, beperkt hun alleen-decoder-architectuur vaak hun potentieel als insluitingsmodellen als er geen verdere representatiefijnafstemming wordt toegepast. Is dit in strijd met hun claim van generalisten? Om de vraag te beantwoorden, bekijken we Mixture-of-Experts (MoE) LLM's van dichterbij. Onze studie toont aan dat de expert-routers in MoE LLM's kunnen dienen als een kant-en-klaar insluitingsmodel met veelbelovende prestaties op een diverse klasse van op insluiting gerichte taken, zonder dat er enige fijnafstemming nodig is. Bovendien toont onze uitgebreide analyse aan dat de MoE-routeringsgewichten (RW) complementair zijn aan de verborgen toestand (HS) van LLM's, een veelgebruikte insluiting. Vergeleken met HS vinden we dat RW robuuster is voor de keuze van prompts en zich richt op hoog-niveau semantiek. Gemotiveerd door de analyse stellen we MoEE voor, waarbij RW en HS worden gecombineerd, wat betere prestaties oplevert dan wanneer ze afzonderlijk worden gebruikt. Onze verkenning van hun combinatie en promptingstrategie werpt verschillende nieuwe inzichten op, bijvoorbeeld dat een gewogen som van RW- en HS-overeenkomsten beter presteert dan de overeenkomst bij hun concatenatie. Onze experimenten zijn uitgevoerd op 6 insluitingstaken met 20 datasets van de Massive Text Embedding Benchmark (MTEB). De resultaten tonen de significante verbetering aan die MoEE brengt aan op LLM-gebaseerde insluiting zonder verdere fijnafstemming.

English

While large language models (LLMs) excel on generation tasks, their decoder-only architecture often limits their potential as embedding models if no further representation finetuning is applied. Does this contradict their claim of generalists? To answer the question, we take a closer look at Mixture-of-Experts (MoE) LLMs. Our study shows that the expert routers in MoE LLMs can serve as an off-the-shelf embedding model with promising performance on a diverse class of embedding-focused tasks, without requiring any finetuning. Moreover, our extensive analysis shows that the MoE routing weights (RW) is complementary to the hidden state (HS) of LLMs, a widely-used embedding. Compared to HS, we find that RW is more robust to the choice of prompts and focuses on high-level semantics. Motivated by the analysis, we propose MoEE combining RW and HS, which achieves better performance than using either separately. Our exploration of their combination and prompting strategy shed several novel insights, e.g., a weighted sum of RW and HS similarities outperforms the similarity on their concatenation. Our experiments are conducted on 6 embedding tasks with 20 datasets from the Massive Text Embedding Benchmark (MTEB). The results demonstrate the significant improvement brought by MoEE to LLM-based embedding without further finetuning.