Efficiënte Democratie van Medische LLM's voor 50 Talen via een Mix van Taalfamilie Experts

Efficiently Democratizing Medical LLMs for 50 Languages via a Mixture of Language Family Experts

October 14, 2024

Auteurs: Guorui Zheng, Xidong Wang, Juhao Liang, Nuo Chen, Yuping Zheng, Benyou Wang

cs.AI

Samenvatting

Het aanpassen van medische Large Language Models naar lokale talen kan de drempels voor toegang tot gezondheidszorgdiensten verlagen, maar gegevensschaarste blijft een aanzienlijke uitdaging, vooral voor talen met weinig bronnen. Om dit aan te pakken, construeren we eerst een hoogwaardige medische dataset en voeren we analyses uit om de kwaliteit ervan te waarborgen. Om de generalisatiecapaciteit van meertalige LLMs efficiënt uit te breiden naar talen met beperkte bronnen, verkennen we de interne informatiestroom van LLMs vanuit een meertalig perspectief met behulp van de Modulariteit van Experts (MoE). Technisch gezien stellen we een nieuw MoE-routingmethode voor die taalspecifieke experts en cross-linguale routing gebruikt. Geïnspireerd door circuittheorie onthulde onze routinganalyse een informatie-stroommechanisme genaamd Spread Out in the End: terwijl eerdere lagen zich concentreren op cross-linguale informatiestroom, vertonen latere lagen taalspecifieke divergentie. Deze inzichten leidden rechtstreeks tot de ontwikkeling van de Post-MoE-architectuur, die schaarse routing alleen toepast in de latere lagen, terwijl andere dicht blijven. Experimentele resultaten tonen aan dat deze aanpak de generalisatie van meertalige modellen naar andere talen verbetert en tegelijkertijd de interpreteerbaarheid behoudt. Tot slot introduceren we, om het model efficiënt uit te breiden naar 50 talen, het concept van taalfamilie-experts, gebaseerd op linguïstische aannames, waardoor het aantal talen kan worden uitgebreid zonder extra parameters toe te voegen.

English

Adapting medical Large Language Models to local languages can reduce barriers to accessing healthcare services, but data scarcity remains a significant challenge, particularly for low-resource languages. To address this, we first construct a high-quality medical dataset and conduct analysis to ensure its quality. In order to leverage the generalization capability of multilingual LLMs to efficiently scale to more resource-constrained languages, we explore the internal information flow of LLMs from a multilingual perspective using Mixture of Experts (MoE) modularity. Technically, we propose a novel MoE routing method that employs language-specific experts and cross-lingual routing. Inspired by circuit theory, our routing analysis revealed a Spread Out in the End information flow mechanism: while earlier layers concentrate cross-lingual information flow, the later layers exhibit language-specific divergence. This insight directly led to the development of the Post-MoE architecture, which applies sparse routing only in the later layers while maintaining dense others. Experimental results demonstrate that this approach enhances the generalization of multilingual models to other languages while preserving interpretability. Finally, to efficiently scale the model to 50 languages, we introduce the concept of language family experts, drawing on linguistic priors, which enables scaling the number of languages without adding additional parameters.