Het overbruggen van taalbarrières in de gezondheidszorg: Een studie over Arabische LLM's.

Bridging Language Barriers in Healthcare: A Study on Arabic LLMs

January 16, 2025

Auteurs: Nada Saadi, Tathagata Raha, Clément Christophe, Marco AF Pimentel, Ronnie Rajan, Praveen K Kanithi

cs.AI

Samenvatting

Deze paper onderzoekt de uitdagingen bij het ontwikkelen van grote taalmodellen (TMs) die bedreven zijn in zowel multilinguaal begrip als medische kennis. We tonen aan dat het eenvoudigweg vertalen van medische gegevens geen sterke prestaties op klinische taken in de doeltaal garandeert. Onze experimenten onthullen dat de optimale taalmix in trainingsgegevens aanzienlijk varieert tussen verschillende medische taken. We ontdekken dat grotere modellen met zorgvuldig gekalibreerde taalverhoudingen superieure prestaties behalen op klinische taken in de moedertaal. Bovendien suggereren onze resultaten dat uitsluitend vertrouwen op fine-tuning mogelijk niet de meest effectieve benadering is voor het opnemen van nieuwe taalkennis in TMs. In plaats daarvan zijn data- en rekenintensieve pretrainingmethoden mogelijk nog steeds noodzakelijk om optimale prestaties te behalen in multilinguale medische omgevingen. Deze bevindingen bieden waardevolle richtlijnen voor het bouwen van effectieve en inclusieve medische AI-systemen voor diverse taalgemeenschappen.

English

This paper investigates the challenges of developing large language models (LLMs) proficient in both multilingual understanding and medical knowledge. We demonstrate that simply translating medical data does not guarantee strong performance on clinical tasks in the target language. Our experiments reveal that the optimal language mix in training data varies significantly across different medical tasks. We find that larger models with carefully calibrated language ratios achieve superior performance on native-language clinical tasks. Furthermore, our results suggest that relying solely on fine-tuning may not be the most effective approach for incorporating new language knowledge into LLMs. Instead, data and computationally intensive pretraining methods may still be necessary to achieve optimal performance in multilingual medical settings. These findings provide valuable guidance for building effective and inclusive medical AI systems for diverse linguistic communities.