RetroLLM: Potenziare i Grandi Modelli Linguistici per Recuperare Prove Dettagliate all'interno della Generazione

RetroLLM: Empowering Large Language Models to Retrieve Fine-grained Evidence within Generation

December 16, 2024

Autori: Xiaoxi Li, Jiajie Jin, Yujia Zhou, Yongkang Wu, Zhonghua Li, Qi Ye, Zhicheng Dou

cs.AI

Abstract

I grandi modelli linguistici (LLM) mostrano notevoli capacità generative ma spesso soffrono di allucinazioni. La generazione potenziata dal recupero (RAG) offre una soluzione efficace incorporando conoscenze esterne, ma i metodi esistenti si trovano ancora ad affrontare diverse limitazioni: costi aggiuntivi di implementazione di recuperatori separati, token di input ridondanti da frammenti di testo recuperati e la mancanza di ottimizzazione congiunta di recupero e generazione. Per affrontare questi problemi, proponiamo RetroLLM, un framework unificato che integra il recupero e la generazione in un singolo processo coeso, consentendo ai LLM di generare direttamente prove dettagliate dal corpus con decodifica vincolata. Inoltre, per mitigare la falsa potatura nel processo di generazione di prove vincolate, introduciamo (1) vincoli gerarchici dell'FM-Index, che generano indizi vincolati al corpus per identificare un sottoinsieme di documenti rilevanti prima della generazione di prove, riducendo lo spazio di decodifica non rilevante; e (2) una strategia di decodifica vincolata prospettica, che considera la rilevanza delle sequenze future per migliorare l'accuratezza delle prove. Estesi esperimenti su cinque set di dati di domande e risposte di dominio aperto dimostrano le prestazioni superiori di RetroLLM sia per compiti in dominio che fuori dominio. Il codice è disponibile su https://github.com/sunnynexus/RetroLLM.

English

Large language models (LLMs) exhibit remarkable generative capabilities but often suffer from hallucinations. Retrieval-augmented generation (RAG) offers an effective solution by incorporating external knowledge, but existing methods still face several limitations: additional deployment costs of separate retrievers, redundant input tokens from retrieved text chunks, and the lack of joint optimization of retrieval and generation. To address these issues, we propose RetroLLM, a unified framework that integrates retrieval and generation into a single, cohesive process, enabling LLMs to directly generate fine-grained evidence from the corpus with constrained decoding. Moreover, to mitigate false pruning in the process of constrained evidence generation, we introduce (1) hierarchical FM-Index constraints, which generate corpus-constrained clues to identify a subset of relevant documents before evidence generation, reducing irrelevant decoding space; and (2) a forward-looking constrained decoding strategy, which considers the relevance of future sequences to improve evidence accuracy. Extensive experiments on five open-domain QA datasets demonstrate RetroLLM's superior performance across both in-domain and out-of-domain tasks. The code is available at https://github.com/sunnynexus/RetroLLM.