Valutazione Completa e Pratica dei Sistemi di Generazione Potenziata da Recupero per la Risposta a Domande Mediche

Comprehensive and Practical Evaluation of Retrieval-Augmented Generation Systems for Medical Question Answering

November 14, 2024

Autori: Nghia Trung Ngo, Chien Van Nguyen, Franck Dernoncourt, Thien Huu Nguyen

cs.AI

Abstract

Il Generazione potenziata da recupero (RAG) è emerso come un approccio promettente per migliorare le prestazioni dei grandi modelli linguistici (LLM) in compiti ad alta conoscenza come quelli del dominio medico. Tuttavia, la natura sensibile del dominio medico richiede un sistema completamente accurato e affidabile. Mentre i benchmark RAG esistenti si concentrano principalmente sull'impostazione standard di recupero-risposta, trascurano molti scenari pratici che misurano aspetti cruciali di un sistema medico affidabile. Questo articolo affronta questa lacuna fornendo un quadro di valutazione completo per i sistemi di domande e risposte (QA) medico in un contesto RAG per queste situazioni, inclusa la sufficienza, l'integrazione e la robustezza. Introduciamo il Benchmark di Generazione Potenziata da Recupero Medico (MedRGB) che fornisce vari elementi supplementari a quattro set di dati di QA medico per testare la capacità dei LLM di gestire questi scenari specifici. Utilizzando MedRGB, conduciamo valutazioni approfondite sia dei LLM commerciali all'avanguardia che dei modelli open-source in diverse condizioni di recupero. I nostri risultati sperimentali rivelano la limitata capacità dei modelli attuali di gestire rumore e disinformazione nei documenti recuperati. Analizziamo inoltre i processi di ragionamento dei LLM per fornire preziose intuizioni e indicazioni future per lo sviluppo di sistemi RAG in questo critico dominio medico.

English

Retrieval-augmented generation (RAG) has emerged as a promising approach to enhance the performance of large language models (LLMs) in knowledge-intensive tasks such as those from medical domain. However, the sensitive nature of the medical domain necessitates a completely accurate and trustworthy system. While existing RAG benchmarks primarily focus on the standard retrieve-answer setting, they overlook many practical scenarios that measure crucial aspects of a reliable medical system. This paper addresses this gap by providing a comprehensive evaluation framework for medical question-answering (QA) systems in a RAG setting for these situations, including sufficiency, integration, and robustness. We introduce Medical Retrieval-Augmented Generation Benchmark (MedRGB) that provides various supplementary elements to four medical QA datasets for testing LLMs' ability to handle these specific scenarios. Utilizing MedRGB, we conduct extensive evaluations of both state-of-the-art commercial LLMs and open-source models across multiple retrieval conditions. Our experimental results reveals current models' limited ability to handle noise and misinformation in the retrieved documents. We further analyze the LLMs' reasoning processes to provides valuable insights and future directions for developing RAG systems in this critical medical domain.