WorldMedQA-V: een meertalige, multimodale medische onderzoek dataset voor de evaluatie van multimodale taalmodellen

WorldMedQA-V: a multilingual, multimodal medical examination dataset for multimodal language models evaluation

October 16, 2024

Auteurs: João Matos, Shan Chen, Siena Placino, Yingya Li, Juan Carlos Climent Pardo, Daphna Idan, Takeshi Tohyama, David Restrepo, Luis F. Nakayama, Jose M. M. Pascual-Leone, Guergana Savova, Hugo Aerts, Leo A. Celi, A. Ian Wong, Danielle S. Bitterman, Jack Gallifant

cs.AI

Samenvatting

Multimodale/vision-taalmodellen (VLM's) worden steeds vaker ingezet in zorginstellingen over de hele wereld, wat robuuste benchmarks vereist om hun veiligheid, doeltreffendheid en rechtvaardigheid te waarborgen. Meerkeuzevraag-en-antwoord (QA) datasets afgeleid van nationale medische examens hebben lange tijd gediend als waardevolle evaluatietools, maar bestaande datasets zijn grotendeels alleen tekstueel en beschikbaar in een beperkte subset van talen en landen. Om deze uitdagingen aan te pakken, presenteren we WorldMedQA-V, een bijgewerkte meertalige, multimodale benchmark dataset ontworpen om VLM's in de gezondheidszorg te evalueren. WorldMedQA-V omvat 568 gelabelde meerkeuze QAs gekoppeld aan 568 medische afbeeldingen uit vier landen (Brazilië, Israël, Japan en Spanje), waarbij oorspronkelijke talen en gevalideerde Engelse vertalingen door moedertaalspecialisten worden behandeld. Baseline prestaties voor gangbare open- en gesloten-bronmodellen worden geleverd in de lokale taal en Engelse vertalingen, zowel met als zonder afbeeldingen die aan het model worden verstrekt. Het WorldMedQA-V benchmark heeft tot doel om AI-systemen beter af te stemmen op de diverse zorgomgevingen waarin ze worden ingezet, waardoor meer rechtvaardige, effectieve en representatieve toepassingen worden bevorderd.

English

Multimodal/vision language models (VLMs) are increasingly being deployed in healthcare settings worldwide, necessitating robust benchmarks to ensure their safety, efficacy, and fairness. Multiple-choice question and answer (QA) datasets derived from national medical examinations have long served as valuable evaluation tools, but existing datasets are largely text-only and available in a limited subset of languages and countries. To address these challenges, we present WorldMedQA-V, an updated multilingual, multimodal benchmarking dataset designed to evaluate VLMs in healthcare. WorldMedQA-V includes 568 labeled multiple-choice QAs paired with 568 medical images from four countries (Brazil, Israel, Japan, and Spain), covering original languages and validated English translations by native clinicians, respectively. Baseline performance for common open- and closed-source models are provided in the local language and English translations, and with and without images provided to the model. The WorldMedQA-V benchmark aims to better match AI systems to the diverse healthcare environments in which they are deployed, fostering more equitable, effective, and representative applications.