Keten-van-Ophaling Versterkte Generatie

Chain-of-Retrieval Augmented Generation

January 24, 2025

Auteurs: Liang Wang, Haonan Chen, Nan Yang, Xiaolong Huang, Zhicheng Dou, Furu Wei

cs.AI

Samenvatting

Dit artikel introduceert een benadering voor het trainen van o1-achtige RAG-modellen die relevante informatie stap voor stap ophalen en redeneren voordat het uiteindelijke antwoord wordt gegenereerd. Conventionele RAG-methoden voeren meestal een enkele ophaalstap uit vóór het generatieproces, wat hun effectiviteit beperkt bij het behandelen van complexe vragen als gevolg van onvolmaakte ophaalresultaten. In tegenstelling hiermee maakt onze voorgestelde methode, CoRAG (Chain-of-Retrieval Augmented Generation), het mogelijk voor het model om dynamisch de vraag te herformuleren op basis van de evoluerende toestand. Om CoRAG effectief te trainen, maken we gebruik van afwijzingssteekproeven om automatisch tussenliggende ophaalketens te genereren, waardoor bestaande RAG-datasets worden aangevuld die alleen het juiste eindantwoord verstrekken. Bij het testen stellen we verschillende decoderingsstrategieën voor om de testtijd van het model te schalen door de lengte en het aantal bemonsterde ophaalketens te regelen. Experimentele resultaten over meerdere benchmarks bevestigen de doeltreffendheid van CoRAG, met name bij meerstapsvraag-antwoordtaken, waar we meer dan 10 punten verbetering in de EM-score waarnemen in vergelijking met sterke baselines. Op de KILT-benchmark vestigt CoRAG een nieuwe state-of-the-art prestatie over een divers scala van kennisintensieve taken. Bovendien bieden we uitgebreide analyses om het schaalgedrag van CoRAG te begrijpen, waarbij we de basis leggen voor toekomstig onderzoek gericht op het ontwikkelen van feitelijke en gefundeerde basismodellen.

English

This paper introduces an approach for training o1-like RAG models that retrieve and reason over relevant information step by step before generating the final answer. Conventional RAG methods usually perform a single retrieval step before the generation process, which limits their effectiveness in addressing complex queries due to imperfect retrieval results. In contrast, our proposed method, CoRAG (Chain-of-Retrieval Augmented Generation), allows the model to dynamically reformulate the query based on the evolving state. To train CoRAG effectively, we utilize rejection sampling to automatically generate intermediate retrieval chains, thereby augmenting existing RAG datasets that only provide the correct final answer. At test time, we propose various decoding strategies to scale the model's test-time compute by controlling the length and number of sampled retrieval chains. Experimental results across multiple benchmarks validate the efficacy of CoRAG, particularly in multi-hop question answering tasks, where we observe more than 10 points improvement in EM score compared to strong baselines. On the KILT benchmark, CoRAG establishes a new state-of-the-art performance across a diverse range of knowledge-intensive tasks. Furthermore, we offer comprehensive analyses to understand the scaling behavior of CoRAG, laying the groundwork for future research aimed at developing factual and grounded foundation models.