RAR: Recupero potenziato del recupero con esempi in contesto

RARe: Retrieval Augmented Retrieval with In-Context Examples

October 26, 2024

Autori: Atula Tejaswi, Yoonsang Lee, Sujay Sanghavi, Eunsol Choi

cs.AI

Abstract

Indaghiamo se gli esempi in contesto, ampiamente utilizzati nei modelli linguistici a sola decodifica (LLM), possano migliorare le prestazioni del modello di embedding nei compiti di recupero. A differenza dei LLM, preporre in modo ingenuo esempi in contesto (coppie query-documento) alla query target al momento dell'infrazione non funziona immediatamente. Introduciamo un approccio semplice per consentire ai recuperatori di utilizzare esempi in contesto. Il nostro approccio, RARe, adatta un modello pre-addestrato con esempi in contesto la cui query è semanticamente simile alla query target. Questo può essere applicato per adattare varie architetture di base (ossia, modelli linguistici a sola decodifica, modelli recuperatori) e ottiene costantemente guadagni di prestazioni fino al +2.72% nDCG su vari set di dati di recupero in dominio aperto (BeIR, RAR-b). In particolare, scopriamo che RARe mostra una maggiore generalizzazione fuori dominio rispetto ai modelli che utilizzano query senza esempi in contesto, simile a quanto si osserva per l'apprendimento in contesto nei LLM. Forniamo inoltre un'analisi sulle scelte progettuali dell'aumento degli esempi in contesto e gettiamo le basi per futuri lavori in questo ambito.

English

We investigate whether in-context examples, widely used in decoder-only language models (LLMs), can improve embedding model performance in retrieval tasks. Unlike in LLMs, naively prepending in-context examples (query-document pairs) to the target query at inference time does not work out of the box. We introduce a simple approach to enable retrievers to use in-context examples. Our approach, RARe, finetunes a pre-trained model with in-context examples whose query is semantically similar to the target query. This can be applied to adapt various base architectures (i.e., decoder-only language models, retriever models) and consistently achieves performance gains of up to +2.72% nDCG across various open-domain retrieval datasets (BeIR, RAR-b). In particular, we find RARe exhibits stronger out-of-domain generalization compared to models using queries without in-context examples, similar to what is seen for in-context learning in LLMs. We further provide analysis on the design choices of in-context example augmentation and lay the foundation for future work in this space.