Zebra-Lama: Ein kontextbewusstes großes Sprachmodell zur Demokratisierung des Wissens über seltene Krankheiten

Zebra-Llama: A Context-Aware Large Language Model for Democratizing Rare Disease Knowledge

November 4, 2024

Autoren: Karthik Soman, Andrew Langdon, Catalina Villouta, Chinmay Agrawal, Lashaw Salta, Braian Peetoom, Gianmarco Bellucci, Orion J Buske

cs.AI

Zusammenfassung

Seltene Krankheiten stellen einzigartige Herausforderungen im Gesundheitswesen dar, die oft unter verzögerter Diagnose und fragmentierten Informationslandschaften leiden. Die Knappheit an zuverlässigem Wissen über diese Zustände stellt eine besondere Herausforderung für Große Sprachmodelle (LLMs) dar, um das klinische Management zu unterstützen und präzise Patienteninformationen bereitzustellen, was die Notwendigkeit einer gezielten Schulung zu diesen 'Zebra'-Fällen unterstreicht. Wir stellen Zebra-Llama vor, ein spezialisiertes kontextbewusstes Sprachmodell mit hoher Präzision in der abrufgestützten Generierung (RAG), das sich auf das Ehlers-Danlos-Syndrom (EDS) als Fallstudie konzentriert. EDS, das 1 von 5.000 Personen betrifft, veranschaulicht die Komplexitäten seltener Krankheiten mit ihren vielfältigen Symptomen, verschiedenen Unterarten und sich entwickelnden diagnostischen Kriterien. Durch die Implementierung einer neuartigen kontextbewussten Feinabstimmungsmethodik, die auf Fragen aus der medizinischen Literatur, Patientenerfahrungen und klinischen Ressourcen basiert, zusammen mit sorgfältig kuratierten Antworten, zeigt Zebra-Llama beispiellose Fähigkeiten bei der Bewältigung von EDS-bezogenen Anfragen. Anhand eines Testsets von realen Fragen, die von EDS-Patienten und Klinikern gesammelt wurden, bewerteten medizinische Experten die Antworten, die von beiden Modellen generiert wurden, und enthüllten signifikante Verbesserungen von Zebra-Llama gegenüber dem Basismodell (Llama 3.1-8B-Instruct) in Bezug auf Gründlichkeit (77,5 % vs. 70,1 %), Genauigkeit (83,0 % vs. 78,8 %), Klarheit (74,7 % vs. 72,0 %) und Zitierbarkeit (70,6 % vs. 52,3 %). Als Open-Source-Ressource veröffentlicht, bietet Zebra-Llama nicht nur zugänglichere und verlässlichere EDS-Informationen, sondern legt auch den Grundstein für die Entwicklung spezialisierter KI-Lösungen für andere seltene Erkrankungen. Diese Arbeit stellt einen entscheidenden Schritt zur Demokratisierung von Expertenwissen im Management seltener Krankheiten dar und könnte möglicherweise verändern, wie Gesundheitsdienstleister und Patienten sich in der komplexen Landschaft seltener Krankheiten zurechtfinden.

English

Rare diseases present unique challenges in healthcare, often suffering from delayed diagnosis and fragmented information landscapes. The scarcity of reliable knowledge in these conditions poses a distinct challenge for Large Language Models (LLMs) in supporting clinical management and delivering precise patient information underscoring the need for focused training on these 'zebra' cases. We present Zebra-Llama, a specialized context-aware language model with high precision Retrieval Augmented Generation (RAG) capability, focusing on Ehlers-Danlos Syndrome (EDS) as our case study. EDS, affecting 1 in 5,000 individuals, exemplifies the complexities of rare diseases with its diverse symptoms, multiple subtypes, and evolving diagnostic criteria. By implementing a novel context-aware fine-tuning methodology trained on questions derived from medical literature, patient experiences, and clinical resources, along with expertly curated responses, Zebra-Llama demonstrates unprecedented capabilities in handling EDS-related queries. On a test set of real-world questions collected from EDS patients and clinicians, medical experts evaluated the responses generated by both models, revealing Zebra-Llama's substantial improvements over base model (Llama 3.1-8B-Instruct) in thoroughness (77.5% vs. 70.1%), accuracy (83.0% vs. 78.8%), clarity (74.7% vs. 72.0%) and citation reliability (70.6% vs. 52.3%). Released as an open-source resource, Zebra-Llama not only provides more accessible and reliable EDS information but also establishes a framework for developing specialized AI solutions for other rare conditions. This work represents a crucial step towards democratizing expert-level knowledge in rare disease management, potentially transforming how healthcare providers and patients navigate the complex landscape of rare diseases.