Überbrückung von Sprachbarrieren im Gesundheitswesen: Eine Studie zu arabischen LLMs

Bridging Language Barriers in Healthcare: A Study on Arabic LLMs

January 16, 2025

Autoren: Nada Saadi, Tathagata Raha, Clément Christophe, Marco AF Pimentel, Ronnie Rajan, Praveen K Kanithi

cs.AI

Zusammenfassung

Dieses Papier untersucht die Herausforderungen bei der Entwicklung großer Sprachmodelle (LLMs), die sowohl über mehrsprachiges Verständnis als auch medizinisches Wissen verfügen. Wir zeigen, dass alleiniges Übersetzen medizinischer Daten keine starke Leistung bei klinischen Aufgaben in der Zielsprache garantiert. Unsere Experimente zeigen, dass die optimale Sprachmischung in den Trainingsdaten je nach medizinischer Aufgabe erheblich variiert. Wir stellen fest, dass größere Modelle mit sorgfältig kalibrierten Sprachverhältnissen eine überlegene Leistung bei klinischen Aufgaben in der Muttersprache erzielen. Darüber hinaus legen unsere Ergebnisse nahe, dass es möglicherweise nicht der effektivste Ansatz ist, sich ausschließlich auf Feinabstimmung zu verlassen, um neues Sprachwissen in LLMs zu integrieren. Stattdessen sind daten- und rechenintensive Vortrainingsmethoden möglicherweise immer noch erforderlich, um optimale Leistungen in mehrsprachigen medizinischen Umgebungen zu erzielen. Diese Erkenntnisse bieten wertvolle Anleitungen für den Aufbau effektiver und inklusiver medizinischer KI-Systeme für verschiedene sprachliche Gemeinschaften.

English

This paper investigates the challenges of developing large language models (LLMs) proficient in both multilingual understanding and medical knowledge. We demonstrate that simply translating medical data does not guarantee strong performance on clinical tasks in the target language. Our experiments reveal that the optimal language mix in training data varies significantly across different medical tasks. We find that larger models with carefully calibrated language ratios achieve superior performance on native-language clinical tasks. Furthermore, our results suggest that relying solely on fine-tuning may not be the most effective approach for incorporating new language knowledge into LLMs. Instead, data and computationally intensive pretraining methods may still be necessary to achieve optimal performance in multilingual medical settings. These findings provide valuable guidance for building effective and inclusive medical AI systems for diverse linguistic communities.