Recupero denso a zero colpi con embedding dal feedback di rilevanza

Zero-Shot Dense Retrieval with Embeddings from Relevance Feedback

October 28, 2024

Autori: Nour Jedidi, Yung-Sung Chuang, Leslie Shing, James Glass

cs.AI

Abstract

Costruire sistemi di recupero denso efficaci rimane difficile quando la supervisione della rilevanza non è disponibile. Lavori recenti hanno cercato di superare questa sfida utilizzando un Grande Modello Linguistico (LLM) per generare documenti ipotetici che possono essere utilizzati per trovare il documento reale più vicino. Tuttavia, questo approccio si basa esclusivamente sul fatto che il LLM abbia conoscenze specifiche del dominio rilevanti per la query, il che potrebbe non essere pratico. Inoltre, generare documenti ipotetici può essere inefficiente in quanto richiede al LLM di generare un gran numero di token per ogni query. Per affrontare queste sfide, presentiamo i Real Document Embeddings from Relevance Feedback (ReDE-RF). Ispirato al feedback di rilevanza, ReDE-RF propone di riformulare la generazione di documenti ipotetici come un compito di stima della rilevanza, utilizzando un LLM per selezionare quali documenti dovrebbero essere utilizzati per la ricerca del vicino più prossimo. Attraverso questa riformulazione, il LLM non ha più bisogno di conoscenze specifiche del dominio ma deve solo valutare ciò che è rilevante. Inoltre, la stima della rilevanza richiede al LLM di produrre un singolo token, migliorando così la latenza della ricerca. I nostri esperimenti mostrano che ReDE-RF supera costantemente i metodi di recupero denso zero-shot all'avanguardia su una vasta gamma di set di dati di recupero a bassa risorsa, apportando significativi miglioramenti anche nella latenza per query.

English

Building effective dense retrieval systems remains difficult when relevance supervision is not available. Recent work has looked to overcome this challenge by using a Large Language Model (LLM) to generate hypothetical documents that can be used to find the closest real document. However, this approach relies solely on the LLM to have domain-specific knowledge relevant to the query, which may not be practical. Furthermore, generating hypothetical documents can be inefficient as it requires the LLM to generate a large number of tokens for each query. To address these challenges, we introduce Real Document Embeddings from Relevance Feedback (ReDE-RF). Inspired by relevance feedback, ReDE-RF proposes to re-frame hypothetical document generation as a relevance estimation task, using an LLM to select which documents should be used for nearest neighbor search. Through this re-framing, the LLM no longer needs domain-specific knowledge but only needs to judge what is relevant. Additionally, relevance estimation only requires the LLM to output a single token, thereby improving search latency. Our experiments show that ReDE-RF consistently surpasses state-of-the-art zero-shot dense retrieval methods across a wide range of low-resource retrieval datasets while also making significant improvements in latency per-query.