Umfassende und praxisnahe Bewertung von Abruf-erweiterten Generierungssystemen für die medizinische Fragebeantwortung.

Comprehensive and Practical Evaluation of Retrieval-Augmented Generation Systems for Medical Question Answering

November 14, 2024

Autoren: Nghia Trung Ngo, Chien Van Nguyen, Franck Dernoncourt, Thien Huu Nguyen

cs.AI

Zusammenfassung

Die Retrieval-augmented Generation (RAG) hat sich als vielversprechender Ansatz zur Verbesserung der Leistung großer Sprachmodelle (LLMs) bei wissensintensiven Aufgaben wie denen aus dem medizinischen Bereich herausgestellt. Die sensible Natur des medizinischen Bereichs erfordert jedoch ein vollständig genaues und vertrauenswürdiges System. Während bestehende RAG-Benchmarks sich hauptsächlich auf die Standard-Retrieve-Answer-Einstellung konzentrieren, übersehen sie viele praktische Szenarien, die entscheidende Aspekte eines zuverlässigen medizinischen Systems messen. Dieser Artikel behebt diese Lücke, indem er einen umfassenden Bewertungsrahmen für medizinische Frage-Antwort-Systeme in einem RAG-Setting für diese Situationen bereitstellt, einschließlich der Genügsamkeit, Integration und Robustheit. Wir stellen das Medical Retrieval-Augmented Generation Benchmark (MedRGB) vor, das verschiedene ergänzende Elemente für vier medizinische QA-Datensätze bereitstellt, um die Fähigkeit von LLMs zu testen, diese spezifischen Szenarien zu bewältigen. Unter Verwendung von MedRGB führen wir umfangreiche Bewertungen sowohl von modernsten kommerziellen LLMs als auch von Open-Source-Modellen unter verschiedenen Abrufbedingungen durch. Unsere experimentellen Ergebnisse zeigen die begrenzte Fähigkeit der aktuellen Modelle auf, mit Rauschen und Fehlinformationen in den abgerufenen Dokumenten umzugehen. Wir analysieren weiterhin die Argumentationsprozesse der LLMs, um wertvolle Einblicke und zukünftige Richtungen für die Entwicklung von RAG-Systemen in diesem kritischen medizinischen Bereich zu liefern.

English

Retrieval-augmented generation (RAG) has emerged as a promising approach to enhance the performance of large language models (LLMs) in knowledge-intensive tasks such as those from medical domain. However, the sensitive nature of the medical domain necessitates a completely accurate and trustworthy system. While existing RAG benchmarks primarily focus on the standard retrieve-answer setting, they overlook many practical scenarios that measure crucial aspects of a reliable medical system. This paper addresses this gap by providing a comprehensive evaluation framework for medical question-answering (QA) systems in a RAG setting for these situations, including sufficiency, integration, and robustness. We introduce Medical Retrieval-Augmented Generation Benchmark (MedRGB) that provides various supplementary elements to four medical QA datasets for testing LLMs' ability to handle these specific scenarios. Utilizing MedRGB, we conduct extensive evaluations of both state-of-the-art commercial LLMs and open-source models across multiple retrieval conditions. Our experimental results reveals current models' limited ability to handle noise and misinformation in the retrieved documents. We further analyze the LLMs' reasoning processes to provides valuable insights and future directions for developing RAG systems in this critical medical domain.