RARé : Recherche Augmentée par la Recherche avec Exemples en Contexte

RARe: Retrieval Augmented Retrieval with In-Context Examples

October 26, 2024

Auteurs: Atula Tejaswi, Yoonsang Lee, Sujay Sanghavi, Eunsol Choi

cs.AI

Résumé

Nous étudions si les exemples en contexte, largement utilisés dans les modèles de langage à décodeur uniquement (LLM), peuvent améliorer les performances des modèles d'incorporation dans les tâches de recherche. Contrairement aux LLM, le fait d'ajouter naïvement des exemples en contexte (paires requête-document) à la requête cible au moment de l'inférence ne fonctionne pas immédiatement. Nous introduisons une approche simple pour permettre aux systèmes de recherche d'utiliser des exemples en contexte. Notre approche, RARe, affine un modèle pré-entraîné avec des exemples en contexte dont la requête est sémantiquement similaire à la requête cible. Cela peut être appliqué pour adapter diverses architectures de base (c'est-à-dire, les modèles de langage à décodeur uniquement, les modèles de recherche) et atteint systématiquement des améliorations de performances allant jusqu'à +2,72% nDCG sur divers ensembles de données de recherche en domaine ouvert (BeIR, RAR-b). En particulier, nous constatons que RARe présente une meilleure généralisation hors domaine par rapport aux modèles utilisant des requêtes sans exemples en contexte, similaire à ce qui est observé pour l'apprentissage en contexte dans les LLM. Nous fournissons en outre une analyse des choix de conception de l'augmentation des exemples en contexte et posons les bases pour les travaux futurs dans ce domaine.

English

We investigate whether in-context examples, widely used in decoder-only language models (LLMs), can improve embedding model performance in retrieval tasks. Unlike in LLMs, naively prepending in-context examples (query-document pairs) to the target query at inference time does not work out of the box. We introduce a simple approach to enable retrievers to use in-context examples. Our approach, RARe, finetunes a pre-trained model with in-context examples whose query is semantically similar to the target query. This can be applied to adapt various base architectures (i.e., decoder-only language models, retriever models) and consistently achieves performance gains of up to +2.72% nDCG across various open-domain retrieval datasets (BeIR, RAR-b). In particular, we find RARe exhibits stronger out-of-domain generalization compared to models using queries without in-context examples, similar to what is seen for in-context learning in LLMs. We further provide analysis on the design choices of in-context example augmentation and lay the foundation for future work in this space.