Uitgebreide en Praktische Evaluatie van Ophaalversterkte Generatiesystemen voor Medische Vraagbeantwoording

Comprehensive and Practical Evaluation of Retrieval-Augmented Generation Systems for Medical Question Answering

November 14, 2024

Auteurs: Nghia Trung Ngo, Chien Van Nguyen, Franck Dernoncourt, Thien Huu Nguyen

cs.AI

Samenvatting

Retrieval-augmented generation (RAG) is naar voren gekomen als een veelbelovende benadering om de prestaties van grote taalmodellen (LLM's) te verbeteren bij kennisintensieve taken, zoals die in het medische domein. Echter, de gevoelige aard van het medische domein vereist een volledig nauwkeurig en betrouwbaar systeem. Terwijl bestaande RAG-benchmarks zich voornamelijk richten op de standaard ophaal-antwoord instelling, vergeten ze vele praktijkscenario's die cruciale aspecten meten van een betrouwbaar medisch systeem. Dit artikel adresseert deze lacune door een uitgebreid evaluatiekader te bieden voor medische vraag-antwoordsystemen in een RAG-instelling voor deze situaties, inclusief voldoendeheid, integratie en robuustheid. We introduceren het Medical Retrieval-Augmented Generation Benchmark (MedRGB) dat verschillende aanvullende elementen biedt aan vier medische QA-datasets om de capaciteit van LLM's te testen om deze specifieke scenario's aan te kunnen. Door gebruik te maken van MedRGB voeren we uitgebreide evaluaties uit van zowel toonaangevende commerciële LLM's als open-source modellen onder verschillende ophaalcondities. Onze experimentele resultaten tonen aan dat de huidige modellen beperkt zijn in hun vermogen om ruis en misinformatie in de opgehaalde documenten te verwerken. We analyseren verder de redeneerprocessen van de LLM's om waardevolle inzichten en toekomstige richtingen te bieden voor de ontwikkeling van RAG-systemen in dit cruciale medische domein.

English

Retrieval-augmented generation (RAG) has emerged as a promising approach to enhance the performance of large language models (LLMs) in knowledge-intensive tasks such as those from medical domain. However, the sensitive nature of the medical domain necessitates a completely accurate and trustworthy system. While existing RAG benchmarks primarily focus on the standard retrieve-answer setting, they overlook many practical scenarios that measure crucial aspects of a reliable medical system. This paper addresses this gap by providing a comprehensive evaluation framework for medical question-answering (QA) systems in a RAG setting for these situations, including sufficiency, integration, and robustness. We introduce Medical Retrieval-Augmented Generation Benchmark (MedRGB) that provides various supplementary elements to four medical QA datasets for testing LLMs' ability to handle these specific scenarios. Utilizing MedRGB, we conduct extensive evaluations of both state-of-the-art commercial LLMs and open-source models across multiple retrieval conditions. Our experimental results reveals current models' limited ability to handle noise and misinformation in the retrieved documents. We further analyze the LLMs' reasoning processes to provides valuable insights and future directions for developing RAG systems in this critical medical domain.