RARe: Abruf erweitertes Abrufen mit Beispielen im Kontext

RARe: Retrieval Augmented Retrieval with In-Context Examples

October 26, 2024

Autoren: Atula Tejaswi, Yoonsang Lee, Sujay Sanghavi, Eunsol Choi

cs.AI

Zusammenfassung

Wir untersuchen, ob In-Context-Beispiele, die in Decoder-Only-Sprachmodellen (LLMs) weit verbreitet sind, die Leistung des Einbettungsmodells bei Abrufaufgaben verbessern können. Im Gegensatz zu LLMs funktioniert das einfache Voranstellen von In-Context-Beispielen (Abfrage-Dokument-Paare) zur Zielabfrage zur Inferenzzeit nicht sofort. Wir stellen einen einfachen Ansatz vor, um Rekurrenten die Verwendung von In-Context-Beispielen zu ermöglichen. Unser Ansatz, RARe, feinabgestimmt ein vorab trainiertes Modell mit In-Context-Beispielen, deren Abfrage semantisch ähnlich zur Zielabfrage ist. Dies kann auf verschiedene Basismodelle (d. h. Decoder-Only-Sprachmodelle, Rekurrentenmodelle) angewendet werden und erzielt konsistent Leistungssteigerungen von bis zu +2,72% nDCG über verschiedene Open-Domain-Abrufdatensätze (BeIR, RAR-b). Insbesondere stellen wir fest, dass RARe eine stärkere Generalisierung außerhalb des Domänenbereichs aufweist im Vergleich zu Modellen, die Abfragen ohne In-Context-Beispiele verwenden, ähnlich wie bei In-Context-Lernen in LLMs beobachtet wird. Darüber hinaus bieten wir eine Analyse der Designentscheidungen zur In-Context-Beispielvergrößerung und legen den Grundstein für zukünftige Arbeiten in diesem Bereich.

English

We investigate whether in-context examples, widely used in decoder-only language models (LLMs), can improve embedding model performance in retrieval tasks. Unlike in LLMs, naively prepending in-context examples (query-document pairs) to the target query at inference time does not work out of the box. We introduce a simple approach to enable retrievers to use in-context examples. Our approach, RARe, finetunes a pre-trained model with in-context examples whose query is semantically similar to the target query. This can be applied to adapt various base architectures (i.e., decoder-only language models, retriever models) and consistently achieves performance gains of up to +2.72% nDCG across various open-domain retrieval datasets (BeIR, RAR-b). In particular, we find RARe exhibits stronger out-of-domain generalization compared to models using queries without in-context examples, similar to what is seen for in-context learning in LLMs. We further provide analysis on the design choices of in-context example augmentation and lay the foundation for future work in this space.