AutoMIR: Recupero efficace delle informazioni mediche senza etichette di rilevanza
AutoMIR: Effective Zero-Shot Medical Information Retrieval without Relevance Labels
October 26, 2024
Autori: Lei Li, Xiangxu Zhang, Xiao Zhou, Zheng Liu
cs.AI
Abstract
Il recupero delle informazioni mediche (MIR) è essenziale per estrarre conoscenze mediche rilevanti da fonti diverse, tra cui cartelle cliniche elettroniche, letteratura scientifica e basi di dati mediche. Tuttavia, raggiungere un recupero denso efficace a zero-shot nel dominio medico pone notevoli sfide a causa della mancanza di dati etichettati come rilevanti. In questo articolo, presentiamo un nuovo approccio chiamato Incorporamento di Documenti Ipotetici Autoapprendente (SL-HyDE) per affrontare questo problema. SL-HyDE sfrutta grandi modelli linguistici (LLM) come generatori per generare documenti ipotetici basati su una determinata query. Questi documenti generati racchiudono contesti medici chiave, guidando un recuperatore denso nell'individuare i documenti più rilevanti. Il framework di autoapprendimento affina progressivamente sia la generazione di pseudo-documenti che il recupero, utilizzando corpora medici non etichettati senza richiedere dati etichettati come rilevanti. Inoltre, presentiamo il Benchmark di Recupero delle Informazioni Mediche Cinese (CMIRB), un framework di valutazione completo basato su scenari medici reali, che comprende cinque compiti e dieci set di dati. Valutando dieci modelli su CMIRB, stabiliamo uno standard rigoroso per valutare i sistemi di recupero delle informazioni mediche. I risultati sperimentali dimostrano che SL-HyDE supera significativamente i metodi esistenti in termini di accuratezza di recupero, mostrando una forte generalizzazione e scalabilità tra varie configurazioni di LLM e recuperatore. I dati di CMIRB e il codice di valutazione sono disponibili pubblicamente su: https://github.com/CMIRB-benchmark/CMIRB.
English
Medical information retrieval (MIR) is essential for retrieving relevant
medical knowledge from diverse sources, including electronic health records,
scientific literature, and medical databases. However, achieving effective
zero-shot dense retrieval in the medical domain poses substantial challenges
due to the lack of relevance-labeled data. In this paper, we introduce a novel
approach called Self-Learning Hypothetical Document Embeddings (SL-HyDE) to
tackle this issue. SL-HyDE leverages large language models (LLMs) as generators
to generate hypothetical documents based on a given query. These generated
documents encapsulate key medical context, guiding a dense retriever in
identifying the most relevant documents. The self-learning framework
progressively refines both pseudo-document generation and retrieval, utilizing
unlabeled medical corpora without requiring any relevance-labeled data.
Additionally, we present the Chinese Medical Information Retrieval Benchmark
(CMIRB), a comprehensive evaluation framework grounded in real-world medical
scenarios, encompassing five tasks and ten datasets. By benchmarking ten models
on CMIRB, we establish a rigorous standard for evaluating medical information
retrieval systems. Experimental results demonstrate that SL-HyDE significantly
surpasses existing methods in retrieval accuracy while showcasing strong
generalization and scalability across various LLM and retriever configurations.
CMIRB data and evaluation code are publicly available at:
https://github.com/CMIRB-benchmark/CMIRB.Summary
AI-Generated Summary