AutoMIR: Effektive Zero-Shot-Medizinische Informationsabfrage ohne Relevanzetiketten

AutoMIR: Effective Zero-Shot Medical Information Retrieval without Relevance Labels

October 26, 2024

Autoren: Lei Li, Xiangxu Zhang, Xiao Zhou, Zheng Liu

cs.AI

Zusammenfassung

Die Informationssuche im medizinischen Bereich (MIR) ist entscheidend für die Gewinnung relevanter medizinischer Kenntnisse aus verschiedenen Quellen, einschließlich elektronischer Patientenakten, wissenschaftlicher Literatur und medizinischer Datenbanken. Die Erreichung einer effektiven Null-Schuss-Dichtesuche im medizinischen Bereich stellt jedoch aufgrund des Mangels an relevanten Daten mit Etiketten erhebliche Herausforderungen dar. In diesem Artikel stellen wir einen neuartigen Ansatz namens Selbstlernende hypothetische Dokumenteneinbettungen (SL-HyDE) vor, um dieses Problem anzugehen. SL-HyDE nutzt große Sprachmodelle (LLMs) als Generatoren, um hypothetische Dokumente auf der Grundlage einer gegebenen Abfrage zu generieren. Diese generierten Dokumente umfassen den wesentlichen medizinischen Kontext, der einem dichten Sucher dabei hilft, die relevantesten Dokumente zu identifizieren. Das Selbstlern-Framework verfeinert kontinuierlich sowohl die Pseudodokumentengenerierung als auch die Suche und nutzt unlabeled medizinische Korpora, ohne auf relevante Daten mit Etiketten angewiesen zu sein. Darüber hinaus präsentieren wir das Chinese Medical Information Retrieval Benchmark (CMIRB), einen umfassenden Bewertungsrahmen, der auf realen medizinischen Szenarien basiert und fünf Aufgaben und zehn Datensätze umfasst. Durch den Benchmark von zehn Modellen auf CMIRB setzen wir einen strengen Maßstab für die Bewertung von medizinischen Informationssuchsystemen. Experimentelle Ergebnisse zeigen, dass SL-HyDE die bestehenden Methoden in der Genauigkeit der Suche deutlich übertrifft und dabei eine starke Verallgemeinerung und Skalierbarkeit über verschiedene LLM- und Sucher-Konfigurationen zeigt. Die CMIRB-Daten und Bewertungscode sind öffentlich verfügbar unter: https://github.com/CMIRB-benchmark/CMIRB.

English

Medical information retrieval (MIR) is essential for retrieving relevant medical knowledge from diverse sources, including electronic health records, scientific literature, and medical databases. However, achieving effective zero-shot dense retrieval in the medical domain poses substantial challenges due to the lack of relevance-labeled data. In this paper, we introduce a novel approach called Self-Learning Hypothetical Document Embeddings (SL-HyDE) to tackle this issue. SL-HyDE leverages large language models (LLMs) as generators to generate hypothetical documents based on a given query. These generated documents encapsulate key medical context, guiding a dense retriever in identifying the most relevant documents. The self-learning framework progressively refines both pseudo-document generation and retrieval, utilizing unlabeled medical corpora without requiring any relevance-labeled data. Additionally, we present the Chinese Medical Information Retrieval Benchmark (CMIRB), a comprehensive evaluation framework grounded in real-world medical scenarios, encompassing five tasks and ten datasets. By benchmarking ten models on CMIRB, we establish a rigorous standard for evaluating medical information retrieval systems. Experimental results demonstrate that SL-HyDE significantly surpasses existing methods in retrieval accuracy while showcasing strong generalization and scalability across various LLM and retriever configurations. CMIRB data and evaluation code are publicly available at: https://github.com/CMIRB-benchmark/CMIRB.