관련 피드백으로부터 임베딩을 사용한 제로샷 밀집 검색

Zero-Shot Dense Retrieval with Embeddings from Relevance Feedback

October 28, 2024

저자: Nour Jedidi, Yung-Sung Chuang, Leslie Shing, James Glass

cs.AI

초록

효과적인 밀집 검색 시스템을 구축하는 것은 관련성 지도가 없는 경우에는 여전히 어렵습니다. 최근 연구는 이러한 도전을 극복하기 위해 대규모 언어 모델(LLM)을 활용하여 가상 문서를 생성하고 이를 사용하여 가장 가까운 실제 문서를 찾는 방법을 모색해 왔습니다. 그러나 이 접근 방식은 쿼리와 관련된 도메인 특정 지식을 LLM만 가지고 있다고 가정하는 데에만 의존하므로 실용적이지 않을 수 있습니다. 게다가, 가상 문서 생성은 각 쿼리에 대해 많은 토큰을 생성해야 하므로 효율적이지 못할 수 있습니다. 이러한 도전에 대처하기 위해 우리는 관련성 피드백에서 영감을 받은 실제 문서 임베딩(ReDE-RF)을 소개합니다. ReDE-RF은 가상 문서 생성을 관련성 평가 작업으로 재구성하여, LLM을 사용하여 가장 가까운 이웃 검색에 사용해야 할 문서를 선택하는 것을 제안합니다. 이 재구성을 통해 LLM은 더 이상 도메인 특정 지식이 필요하지 않고 단지 무엇이 관련 있는지를 판단하면 됩니다. 게다가, 관련성 평가는 LLM이 단일 토큰을 출력하기만 하면 되므로 검색 대기 시간을 개선할 수 있습니다. 우리의 실험 결과는 ReDE-RF가 다양한 저자원 검색 데이터셋에서 최첨단 제로샷 밀집 검색 방법을 일관되게 능가하면서, 쿼리 당 대기 시간을 크게 개선하고 있다는 것을 보여줍니다.

English

Building effective dense retrieval systems remains difficult when relevance supervision is not available. Recent work has looked to overcome this challenge by using a Large Language Model (LLM) to generate hypothetical documents that can be used to find the closest real document. However, this approach relies solely on the LLM to have domain-specific knowledge relevant to the query, which may not be practical. Furthermore, generating hypothetical documents can be inefficient as it requires the LLM to generate a large number of tokens for each query. To address these challenges, we introduce Real Document Embeddings from Relevance Feedback (ReDE-RF). Inspired by relevance feedback, ReDE-RF proposes to re-frame hypothetical document generation as a relevance estimation task, using an LLM to select which documents should be used for nearest neighbor search. Through this re-framing, the LLM no longer needs domain-specific knowledge but only needs to judge what is relevant. Additionally, relevance estimation only requires the LLM to output a single token, thereby improving search latency. Our experiments show that ReDE-RF consistently surpasses state-of-the-art zero-shot dense retrieval methods across a wide range of low-resource retrieval datasets while also making significant improvements in latency per-query.