MedMobile: Een op mobiel formaat taalmodel met klinische mogelijkheden op expertniveau

Samenvatting

Taalmodellen (LM's) hebben expertniveau redeneer- en herinneringsvermogen aangetoond in de geneeskunde. Echter, toenemende rekenkundige kosten en privacyzorgen vormen obstakels voor grootschalige implementatie. Wij introduceren een zuinige aanpassing van phi-3-mini, MedMobile, een LM met 3,8 miljard parameters die kan draaien op een mobiel apparaat, voor medische toepassingen. We tonen aan dat MedMobile 75,7% scoort op de MedQA (USMLE), hoger dan het slaagcijfer voor artsen (~60%), en de scores benadert van modellen die 100 keer groter zijn. Vervolgens voeren we een zorgvuldige reeks ablaties uit en tonen aan dat ketendenken, ensembleren en fijnafstemming leiden tot de grootste prestatiewinsten, terwijl onverwacht retrieval augmented generation geen significante verbeteringen laat zien.

English

Language models (LMs) have demonstrated expert-level reasoning and recall abilities in medicine. However, computational costs and privacy concerns are mounting barriers to wide-scale implementation. We introduce a parsimonious adaptation of phi-3-mini, MedMobile, a 3.8 billion parameter LM capable of running on a mobile device, for medical applications. We demonstrate that MedMobile scores 75.7% on the MedQA (USMLE), surpassing the passing mark for physicians (~60%), and approaching the scores of models 100 times its size. We subsequently perform a careful set of ablations, and demonstrate that chain of thought, ensembling, and fine-tuning lead to the greatest performance gains, while unexpectedly retrieval augmented generation fails to demonstrate significant improvements

MedMobile: Een op mobiel formaat taalmodel met klinische mogelijkheden op expertniveau

MedMobile: A mobile-sized language model with expert-level clinical capabilities

Samenvatting

Summary

Support