ReaRAG: Il ragionamento guidato dalla conoscenza migliora la fattualità dei modelli di ragionamento su larga scala con la generazione aumentata iterativa tramite recupero delle informazioni

ReaRAG: Knowledge-guided Reasoning Enhances Factuality of Large Reasoning Models with Iterative Retrieval Augmented Generation

March 27, 2025

Autori: Zhicheng Lee, Shulin Cao, Jinxin Liu, Jiajie Zhang, Weichuan Liu, Xiaoyin Che, Lei Hou, Juanzi Li

cs.AI

Abstract

I Large Reasoning Models (LRM) dimostrano notevoli capacità di ragionamento ma si basano principalmente su conoscenze parametriche, limitando l'accuratezza fattuale. Sebbene lavori recenti abbiano dotato gli LRM basati su apprendimento per rinforzo (RL) di capacità di recupero, questi soffrono di sovrapensiero e mancanza di robustezza nel ragionamento, riducendo la loro efficacia nei compiti di question answering (QA). Per affrontare questo problema, proponiamo ReaRAG, un modello di ragionamento potenziato per la fattualità che esplora query diversificate senza eccessive iterazioni. La nostra soluzione include un nuovo framework di costruzione dei dati con un limite superiore alla lunghezza della catena di ragionamento. Nello specifico, sfruttiamo prima un LRM per generare un pensiero deliberato, quindi selezioniamo un'azione da uno spazio di azioni predefinito (Cerca e Termina). Per l'azione Cerca, una query viene eseguita contro il motore RAG, dove il risultato viene restituito come osservazione per guidare i passi di ragionamento successivi. Questo processo si ripete fino a quando non viene scelta un'azione Termina. Grazie alle forti capacità di ragionamento di ReaRAG, il nostro approccio supera i baseline esistenti nel QA multi-hop. Un'ulteriore analisi evidenzia la sua forte capacità riflessiva di riconoscere errori e affinare la traiettoria di ragionamento. Il nostro studio migliora la fattualità degli LRM integrando efficacemente un ragionamento robusto per la Generazione Aumentata dal Recupero (RAG).

English

Large Reasoning Models (LRMs) exhibit remarkable reasoning abilities but rely primarily on parametric knowledge, limiting factual accuracy. While recent works equip reinforcement learning (RL)-based LRMs with retrieval capabilities, they suffer from overthinking and lack robustness in reasoning, reducing their effectiveness in question answering (QA) tasks. To address this, we propose ReaRAG, a factuality-enhanced reasoning model that explores diverse queries without excessive iterations. Our solution includes a novel data construction framework with an upper bound on the reasoning chain length. Specifically, we first leverage an LRM to generate deliberate thinking, then select an action from a predefined action space (Search and Finish). For Search action, a query is executed against the RAG engine, where the result is returned as observation to guide reasoning steps later. This process iterates until a Finish action is chosen. Benefiting from ReaRAG's strong reasoning capabilities, our approach outperforms existing baselines on multi-hop QA. Further analysis highlights its strong reflective ability to recognize errors and refine its reasoning trajectory. Our study enhances LRMs' factuality while effectively integrating robust reasoning for Retrieval-Augmented Generation (RAG).