ReaRAG: Wissensgesteuertes Denken verbessert die Faktentreue großer Denkmodelle durch iterative Retrieval-Augmented Generation

ReaRAG: Knowledge-guided Reasoning Enhances Factuality of Large Reasoning Models with Iterative Retrieval Augmented Generation

March 27, 2025

Autoren: Zhicheng Lee, Shulin Cao, Jinxin Liu, Jiajie Zhang, Weichuan Liu, Xiaoyin Che, Lei Hou, Juanzi Li

cs.AI

Zusammenfassung

Große Reasoning-Modelle (LRMs) zeigen bemerkenswerte Fähigkeiten im logischen Schließen, stützen sich jedoch hauptsächlich auf parametrisches Wissen, was die faktische Genauigkeit einschränkt. Obwohl neuere Arbeiten LRMs, die auf Reinforcement Learning (RL) basieren, mit Retrieval-Fähigkeiten ausstatten, leiden diese unter Überdenken und mangelnder Robustheit im logischen Schließen, was ihre Effektivität bei Frage-Antwort-Aufgaben (QA) verringert. Um dies zu adressieren, schlagen wir ReaRAG vor, ein faktualitätsgestärktes Reasoning-Modell, das verschiedene Abfragen ohne übermäßige Iterationen untersucht. Unsere Lösung umfasst ein neuartiges Datenkonstruktionsframework mit einer Obergrenze für die Länge der Reasoning-Kette. Konkret nutzen wir zunächst ein LRM, um gezieltes Denken zu generieren, und wählen dann eine Aktion aus einem vordefinierten Aktionsraum (Suchen und Beenden). Bei der Suchaktion wird eine Abfrage gegen die RAG-Engine ausgeführt, wobei das Ergebnis als Beobachtung zurückgegeben wird, um spätere Reasoning-Schritte zu leiten. Dieser Prozess wiederholt sich, bis eine Beenden-Aktion gewählt wird. Dank der starken Reasoning-Fähigkeiten von ReaRAG übertrifft unser Ansatz bestehende Baselines bei mehrstufigen QA-Aufgaben. Eine weitere Analyse hebt seine starke reflexive Fähigkeit hervor, Fehler zu erkennen und seine Reasoning-Trajektorie zu verfeinern. Unsere Studie verbessert die Faktualität von LRMs und integriert gleichzeitig robustes Reasoning effektiv für Retrieval-Augmented Generation (RAG).

English

Large Reasoning Models (LRMs) exhibit remarkable reasoning abilities but rely primarily on parametric knowledge, limiting factual accuracy. While recent works equip reinforcement learning (RL)-based LRMs with retrieval capabilities, they suffer from overthinking and lack robustness in reasoning, reducing their effectiveness in question answering (QA) tasks. To address this, we propose ReaRAG, a factuality-enhanced reasoning model that explores diverse queries without excessive iterations. Our solution includes a novel data construction framework with an upper bound on the reasoning chain length. Specifically, we first leverage an LRM to generate deliberate thinking, then select an action from a predefined action space (Search and Finish). For Search action, a query is executed against the RAG engine, where the result is returned as observation to guide reasoning steps later. This process iterates until a Finish action is chosen. Benefiting from ReaRAG's strong reasoning capabilities, our approach outperforms existing baselines on multi-hop QA. Further analysis highlights its strong reflective ability to recognize errors and refine its reasoning trajectory. Our study enhances LRMs' factuality while effectively integrating robust reasoning for Retrieval-Augmented Generation (RAG).