Nullschuss-Dichte-Abruf mit Einbettungen aus Relevanzrückmeldungen

Zero-Shot Dense Retrieval with Embeddings from Relevance Feedback

October 28, 2024

Autoren: Nour Jedidi, Yung-Sung Chuang, Leslie Shing, James Glass

cs.AI

Zusammenfassung

Der Aufbau effektiver dichter Abrufsysteme bleibt schwierig, wenn keine Relevanzüberwachung verfügbar ist. In jüngster Zeit wurde versucht, diese Herausforderung zu überwinden, indem ein Large Language Model (LLM) verwendet wird, um hypothetische Dokumente zu generieren, die verwendet werden können, um das nächstgelegene echte Dokument zu finden. Dieser Ansatz verlässt sich jedoch ausschließlich darauf, dass das LLM über domänenspezifisches Wissen verfügt, das für die Abfrage relevant ist, was möglicherweise nicht praktikabel ist. Darüber hinaus kann die Generierung hypothetischer Dokumente ineffizient sein, da das LLM eine große Anzahl von Token für jede Abfrage generieren muss. Um diese Herausforderungen anzugehen, führen wir Real Document Embeddings from Relevance Feedback (ReDE-RF) ein. Inspiriert von Rückmeldung zur Relevanz schlägt ReDE-RF vor, die Generierung hypothetischer Dokumente als eine Aufgabe der Relevanzschätzung neu zu formulieren, wobei ein LLM auswählt, welche Dokumente für die Suche nach dem nächsten Nachbarn verwendet werden sollen. Durch diese Neuausrichtung benötigt das LLM kein domänenspezifisches Wissen mehr, sondern muss nur beurteilen, was relevant ist. Darüber hinaus erfordert die Relevanzschätzung nur, dass das LLM ein einziges Token ausgibt, wodurch die Suchlatenz verbessert wird. Unsere Experimente zeigen, dass ReDE-RF konsequent die state-of-the-art Zero-Shot-Dichte-Abrufmethoden über eine breite Palette von Abrufdatensätzen mit geringen Ressourcen übertrifft und gleichzeitig signifikante Verbesserungen bei der Latenz pro Abfrage erzielt.

English

Building effective dense retrieval systems remains difficult when relevance supervision is not available. Recent work has looked to overcome this challenge by using a Large Language Model (LLM) to generate hypothetical documents that can be used to find the closest real document. However, this approach relies solely on the LLM to have domain-specific knowledge relevant to the query, which may not be practical. Furthermore, generating hypothetical documents can be inefficient as it requires the LLM to generate a large number of tokens for each query. To address these challenges, we introduce Real Document Embeddings from Relevance Feedback (ReDE-RF). Inspired by relevance feedback, ReDE-RF proposes to re-frame hypothetical document generation as a relevance estimation task, using an LLM to select which documents should be used for nearest neighbor search. Through this re-framing, the LLM no longer needs domain-specific knowledge but only needs to judge what is relevant. Additionally, relevance estimation only requires the LLM to output a single token, thereby improving search latency. Our experiments show that ReDE-RF consistently surpasses state-of-the-art zero-shot dense retrieval methods across a wide range of low-resource retrieval datasets while also making significant improvements in latency per-query.