Évaluation Complète et Pratique des Systèmes de Génération Améliorée par Récupération pour la Réponse aux Questions Médicales

Comprehensive and Practical Evaluation of Retrieval-Augmented Generation Systems for Medical Question Answering

November 14, 2024

Auteurs: Nghia Trung Ngo, Chien Van Nguyen, Franck Dernoncourt, Thien Huu Nguyen

cs.AI

Résumé

La génération augmentée par récupération (RAG) a émergé comme une approche prometteuse pour améliorer les performances des grands modèles de langage (LLM) dans des tâches intensives en connaissances telles que celles du domaine médical. Cependant, la nature sensible du domaine médical nécessite un système entièrement précis et fiable. Alors que les référentiels RAG existants se concentrent principalement sur le cadre standard de récupération-réponse, ils négligent de nombreux scénarios pratiques qui mesurent des aspects cruciaux d'un système médical fiable. Cet article comble cette lacune en fournissant un cadre d'évaluation complet pour les systèmes de questions-réponses médicales dans un contexte RAG pour ces situations, comprenant la suffisance, l'intégration et la robustesse. Nous introduisons le Banc d'Essai de Génération Augmentée par Récupération Médicale (MedRGB) qui fournit divers éléments supplémentaires à quatre ensembles de données de questions-réponses médicales pour tester la capacité des LLM à gérer ces scénarios spécifiques. En utilisant MedRGB, nous menons des évaluations approfondies à la fois des LLM commerciaux de pointe et des modèles open-source dans différentes conditions de récupération. Nos résultats expérimentaux révèlent la capacité limitée des modèles actuels à gérer le bruit et les informations erronées dans les documents récupérés. Nous analysons en outre les processus de raisonnement des LLM pour fournir des informations précieuses et des orientations futures pour le développement de systèmes RAG dans ce domaine médical critique.

English

Retrieval-augmented generation (RAG) has emerged as a promising approach to enhance the performance of large language models (LLMs) in knowledge-intensive tasks such as those from medical domain. However, the sensitive nature of the medical domain necessitates a completely accurate and trustworthy system. While existing RAG benchmarks primarily focus on the standard retrieve-answer setting, they overlook many practical scenarios that measure crucial aspects of a reliable medical system. This paper addresses this gap by providing a comprehensive evaluation framework for medical question-answering (QA) systems in a RAG setting for these situations, including sufficiency, integration, and robustness. We introduce Medical Retrieval-Augmented Generation Benchmark (MedRGB) that provides various supplementary elements to four medical QA datasets for testing LLMs' ability to handle these specific scenarios. Utilizing MedRGB, we conduct extensive evaluations of both state-of-the-art commercial LLMs and open-source models across multiple retrieval conditions. Our experimental results reveals current models' limited ability to handle noise and misinformation in the retrieved documents. We further analyze the LLMs' reasoning processes to provides valuable insights and future directions for developing RAG systems in this critical medical domain.