Zebra-Llama : Un modèle de langage large conscient du contexte pour démocratiser la connaissance des maladies rares

Zebra-Llama: A Context-Aware Large Language Model for Democratizing Rare Disease Knowledge

November 4, 2024

Auteurs: Karthik Soman, Andrew Langdon, Catalina Villouta, Chinmay Agrawal, Lashaw Salta, Braian Peetoom, Gianmarco Bellucci, Orion J Buske

cs.AI

Résumé

Les maladies rares présentent des défis uniques dans le domaine de la santé, souffrant souvent de diagnostics tardifs et de paysages d'informations fragmentés. La rareté des connaissances fiables dans ces conditions pose un défi distinct pour les Grands Modèles de Langage (GML) dans le soutien à la gestion clinique et la fourniture d'informations précises aux patients, soulignant le besoin d'une formation ciblée sur ces cas "zebra". Nous présentons Zebra-Llama, un modèle de langage spécialisé, contextuel, doté d'une capacité de Génération Améliorée par Récupération (GAR) de haute précision, se concentrant sur le Syndrome d'Ehlers-Danlos (SED) comme étude de cas. Le SED, affectant 1 individu sur 5 000, illustre les complexités des maladies rares avec ses symptômes divers, ses multiples sous-types et ses critères diagnostiques évolutifs. En mettant en œuvre une méthodologie novatrice de fine-tuning contextuel formée sur des questions tirées de la littérature médicale, des expériences de patients et des ressources cliniques, ainsi que des réponses expertement sélectionnées, Zebra-Llama démontre des capacités sans précédent dans le traitement des requêtes liées au SED. Sur un ensemble de questions du monde réel collectées auprès de patients atteints de SED et de cliniciens, des experts médicaux ont évalué les réponses générées par les deux modèles, révélant les améliorations substantielles de Zebra-Llama par rapport au modèle de base (Llama 3.1-8B-Instruct) en termes d'exhaustivité (77,5 % contre 70,1 %), de précision (83,0 % contre 78,8 %), de clarté (74,7 % contre 72,0 %) et de fiabilité des citations (70,6 % contre 52,3 %). Mis à disposition en open source, Zebra-Llama fournit non seulement des informations plus accessibles et fiables sur le SED, mais établit également un cadre pour le développement de solutions d'IA spécialisées pour d'autres conditions rares. Ce travail représente une étape cruciale vers la démocratisation des connaissances de niveau expert dans la gestion des maladies rares, potentiellement transformant la manière dont les prestataires de soins de santé et les patients naviguent dans le paysage complexe des maladies rares.

English

Rare diseases present unique challenges in healthcare, often suffering from delayed diagnosis and fragmented information landscapes. The scarcity of reliable knowledge in these conditions poses a distinct challenge for Large Language Models (LLMs) in supporting clinical management and delivering precise patient information underscoring the need for focused training on these 'zebra' cases. We present Zebra-Llama, a specialized context-aware language model with high precision Retrieval Augmented Generation (RAG) capability, focusing on Ehlers-Danlos Syndrome (EDS) as our case study. EDS, affecting 1 in 5,000 individuals, exemplifies the complexities of rare diseases with its diverse symptoms, multiple subtypes, and evolving diagnostic criteria. By implementing a novel context-aware fine-tuning methodology trained on questions derived from medical literature, patient experiences, and clinical resources, along with expertly curated responses, Zebra-Llama demonstrates unprecedented capabilities in handling EDS-related queries. On a test set of real-world questions collected from EDS patients and clinicians, medical experts evaluated the responses generated by both models, revealing Zebra-Llama's substantial improvements over base model (Llama 3.1-8B-Instruct) in thoroughness (77.5% vs. 70.1%), accuracy (83.0% vs. 78.8%), clarity (74.7% vs. 72.0%) and citation reliability (70.6% vs. 52.3%). Released as an open-source resource, Zebra-Llama not only provides more accessible and reliable EDS information but also establishes a framework for developing specialized AI solutions for other rare conditions. This work represents a crucial step towards democratizing expert-level knowledge in rare disease management, potentially transforming how healthcare providers and patients navigate the complex landscape of rare diseases.