Nul-Schot Dichte Terugvinding met Embeddings van Relevantie Feedback.

Zero-Shot Dense Retrieval with Embeddings from Relevance Feedback

October 28, 2024

Auteurs: Nour Jedidi, Yung-Sung Chuang, Leslie Shing, James Glass

cs.AI

Samenvatting

Het blijft moeilijk om effectieve dense retrieval systemen te bouwen wanneer er geen relevantiebegeleiding beschikbaar is. Recent werk heeft geprobeerd dit probleem te overwinnen door een Groot Taalmodel (LLM) te gebruiken om hypothetische documenten te genereren die kunnen worden gebruikt om het dichtstbijzijnde echte document te vinden. Deze aanpak vertrouwt echter alleen op het LLM om domeinspecifieke kennis te hebben die relevant is voor de query, wat mogelijk niet praktisch is. Bovendien kan het genereren van hypothetische documenten inefficiënt zijn, omdat het LLM een groot aantal tokens moet genereren voor elke query. Om deze uitdagingen aan te pakken, introduceren we Echte Document Embeddings van Relevantie Feedback (ReDE-RF). Geïnspireerd door relevantie feedback, stelt ReDE-RF voor om het genereren van hypothetische documenten te herformuleren als een relevantieschattingstaak, waarbij een LLM wordt gebruikt om te selecteren welke documenten moeten worden gebruikt voor de zoektocht naar het dichtstbijzijnde buurdocument. Door deze herformulering heeft het LLM geen domeinspecifieke kennis meer nodig, maar hoeft het alleen te beoordelen wat relevant is. Bovendien vereist relevantieschatting slechts dat het LLM één token uitvoert, waardoor de zoeklatentie verbetert. Onze experimenten tonen aan dat ReDE-RF consequent de state-of-the-art zero-shot dense retrieval methoden overtreft over een breed scala van datasets voor informatieopvraging met beperkte middelen, terwijl ook aanzienlijke verbeteringen worden gemaakt in latentie per query.

English

Building effective dense retrieval systems remains difficult when relevance supervision is not available. Recent work has looked to overcome this challenge by using a Large Language Model (LLM) to generate hypothetical documents that can be used to find the closest real document. However, this approach relies solely on the LLM to have domain-specific knowledge relevant to the query, which may not be practical. Furthermore, generating hypothetical documents can be inefficient as it requires the LLM to generate a large number of tokens for each query. To address these challenges, we introduce Real Document Embeddings from Relevance Feedback (ReDE-RF). Inspired by relevance feedback, ReDE-RF proposes to re-frame hypothetical document generation as a relevance estimation task, using an LLM to select which documents should be used for nearest neighbor search. Through this re-framing, the LLM no longer needs domain-specific knowledge but only needs to judge what is relevant. Additionally, relevance estimation only requires the LLM to output a single token, thereby improving search latency. Our experiments show that ReDE-RF consistently surpasses state-of-the-art zero-shot dense retrieval methods across a wide range of low-resource retrieval datasets while also making significant improvements in latency per-query.