Récupération dense sans étiquette avec des plongements issus de la rétroaction de pertinence

Zero-Shot Dense Retrieval with Embeddings from Relevance Feedback

October 28, 2024

Auteurs: Nour Jedidi, Yung-Sung Chuang, Leslie Shing, James Glass

cs.AI

Résumé

La construction de systèmes de recherche dense efficaces reste difficile lorsque la supervision de la pertinence n'est pas disponible. Des travaux récents ont cherché à surmonter ce défi en utilisant un Grand Modèle de Langue (GML) pour générer des documents hypothétiques pouvant être utilisés pour trouver le document réel le plus proche. Cependant, cette approche repose uniquement sur le GML pour avoir des connaissances spécifiques au domaine pertinent à la requête, ce qui peut ne pas être pratique. De plus, la génération de documents hypothétiques peut être inefficace car elle nécessite que le GML génère un grand nombre de jetons pour chaque requête. Pour relever ces défis, nous introduisons les Incrustations de Documents Réels à partir de la Rétroaction de Pertinence (ReDE-RF). Inspiré par la rétroaction de pertinence, ReDE-RF propose de reformuler la génération de documents hypothétiques comme une tâche d'estimation de pertinence, en utilisant un GML pour sélectionner quels documents doivent être utilisés pour la recherche des voisins les plus proches. Grâce à cette reformulation, le GML n'a plus besoin de connaissances spécifiques au domaine mais doit simplement juger ce qui est pertinent. De plus, l'estimation de pertinence ne nécessite que le GML produise un seul jeton, améliorant ainsi la latence de la recherche. Nos expériences montrent que ReDE-RF surpasse de manière constante les méthodes de recherche dense à zéro tirage au sort de pointe sur une large gamme d'ensembles de données de recherche à faibles ressources tout en apportant également des améliorations significatives en termes de latence par requête.

English

Building effective dense retrieval systems remains difficult when relevance supervision is not available. Recent work has looked to overcome this challenge by using a Large Language Model (LLM) to generate hypothetical documents that can be used to find the closest real document. However, this approach relies solely on the LLM to have domain-specific knowledge relevant to the query, which may not be practical. Furthermore, generating hypothetical documents can be inefficient as it requires the LLM to generate a large number of tokens for each query. To address these challenges, we introduce Real Document Embeddings from Relevance Feedback (ReDE-RF). Inspired by relevance feedback, ReDE-RF proposes to re-frame hypothetical document generation as a relevance estimation task, using an LLM to select which documents should be used for nearest neighbor search. Through this re-framing, the LLM no longer needs domain-specific knowledge but only needs to judge what is relevant. Additionally, relevance estimation only requires the LLM to output a single token, thereby improving search latency. Our experiments show that ReDE-RF consistently surpasses state-of-the-art zero-shot dense retrieval methods across a wide range of low-resource retrieval datasets while also making significant improvements in latency per-query.