DyVo: Dynamische Woordenschat voor Geleerd Schraal Ophalen met Entiteiten

DyVo: Dynamic Vocabularies for Learned Sparse Retrieval with Entities

October 10, 2024

Auteurs: Thong Nguyen, Shubham Chatterjee, Sean MacAvaney, Iain Mackie, Jeff Dalton, Andrew Yates

cs.AI

Samenvatting

Leermodellen voor Schrale Ophaling (LSR) maken gebruik van woordenschat uit vooraf getrainde transformers, die vaak entiteiten opsplitsen in onsamenhangende fragmenten. Het opsplitsen van entiteiten kan de ophaalnauwkeurigheid verminderen en beperkt het vermogen van het model om actuele wereldkennis op te nemen die niet in de trainingsgegevens is opgenomen. In dit werk verbeteren we de LSR-woordenschat met Wikipedia-concepten en entiteiten, waardoor het model ambiguïteiten effectiever kan oplossen en actueel kan blijven met evoluerende kennis. Centraal in onze aanpak staat een Dynamische Woordenschat (DyVo) kop, die bestaande entiteitsembeddings benut en een entiteitenophaalcomponent die entiteiten identificeert die relevant zijn voor een query of document. We gebruiken de DyVo kop om entiteitsgewichten te genereren, die vervolgens worden samengevoegd met woordstukgewichten om gezamenlijke representaties te creëren voor efficiënte indexering en ophaling met behulp van een omgekeerde index. In experimenten over drie documentrangschikkingsdatasets met veel entiteiten presteert het resulterende DyVo-model aanzienlijk beter dan state-of-the-art baselines.

English

Learned Sparse Retrieval (LSR) models use vocabularies from pre-trained transformers, which often split entities into nonsensical fragments. Splitting entities can reduce retrieval accuracy and limits the model's ability to incorporate up-to-date world knowledge not included in the training data. In this work, we enhance the LSR vocabulary with Wikipedia concepts and entities, enabling the model to resolve ambiguities more effectively and stay current with evolving knowledge. Central to our approach is a Dynamic Vocabulary (DyVo) head, which leverages existing entity embeddings and an entity retrieval component that identifies entities relevant to a query or document. We use the DyVo head to generate entity weights, which are then merged with word piece weights to create joint representations for efficient indexing and retrieval using an inverted index. In experiments across three entity-rich document ranking datasets, the resulting DyVo model substantially outperforms state-of-the-art baselines.