ReSearch: Apprendimento del Ragionamento con la Ricerca per LLM tramite Apprendimento per Rinforzo

ReSearch: Learning to Reason with Search for LLMs via Reinforcement Learning

March 25, 2025

Autori: Mingyang Chen, Tianpeng Li, Haoze Sun, Yijie Zhou, Chenzheng Zhu, Fan Yang, Zenan Zhou, Weipeng Chen, Haofen Wang, Jeff Z. Pan, Wen Zhang, Huajun Chen

cs.AI

Abstract

I Large Language Model (LLM) hanno dimostrato capacità notevoli nel ragionamento, come evidenziato dal successo di OpenAI-o1 e DeepSeek-R1. Tuttavia, integrare il ragionamento con processi di ricerca esterni rimane una sfida, specialmente per domande complesse multi-hop che richiedono più passaggi di recupero. Proponiamo ReSearch, un framework innovativo che addestra gli LLM a Ragionare con la Ricerca (Reason with Search) attraverso l'apprendimento per rinforzo, senza utilizzare dati supervisionati sui passaggi di ragionamento. Il nostro approccio tratta le operazioni di ricerca come componenti integrali della catena di ragionamento, in cui quando e come eseguire le ricerche è guidato da un pensiero basato sul testo, e i risultati della ricerca influenzano ulteriormente il ragionamento. Addestriamo ReSearch sui modelli Qwen2.5-7B(-Instruct) e Qwen2.5-32B(-Instruct) e conduciamo esperimenti estesi. Nonostante l'addestramento su un solo dataset, i nostri modelli dimostrano una forte generalizzabilità su vari benchmark. L'analisi rivela che ReSearch stimola naturalmente capacità avanzate di ragionamento come la riflessione e l'autocorrezione durante il processo di apprendimento per rinforzo.

English

Large Language Models (LLMs) have shown remarkable capabilities in reasoning, exemplified by the success of OpenAI-o1 and DeepSeek-R1. However, integrating reasoning with external search processes remains challenging, especially for complex multi-hop questions requiring multiple retrieval steps. We propose ReSearch, a novel framework that trains LLMs to Reason with Search via reinforcement learning without using any supervised data on reasoning steps. Our approach treats search operations as integral components of the reasoning chain, where when and how to perform searches is guided by text-based thinking, and search results subsequently influence further reasoning. We train ReSearch on Qwen2.5-7B(-Instruct) and Qwen2.5-32B(-Instruct) models and conduct extensive experiments. Despite being trained on only one dataset, our models demonstrate strong generalizability across various benchmarks. Analysis reveals that ReSearch naturally elicits advanced reasoning capabilities such as reflection and self-correction during the reinforcement learning process.