Ricerca-o1: Modelli di Ragionamento Estesi Potenziati dalla Ricerca Agentica

Search-o1: Agentic Search-Enhanced Large Reasoning Models

January 9, 2025

Autori: Xiaoxi Li, Guanting Dong, Jiajie Jin, Yuyao Zhang, Yujia Zhou, Yutao Zhu, Peitian Zhang, Zhicheng Dou

cs.AI

Abstract

I modelli di ragionamento di grandi dimensioni (LRM) come OpenAI-o1 hanno dimostrato notevoli capacità di ragionamento a lungo termine attraverso l'apprendimento per rinforzo su larga scala. Tuttavia, i loro processi di ragionamento estesi spesso soffrono di insufficienza di conoscenza, portando a frequenti incertezze e potenziali errori. Per affrontare questa limitazione, introduciamo Search-o1, un framework che potenzia i LRM con un meccanismo di generazione potenziato da recupero agente (RAG) e un modulo Reason-in-Documents per affinare i documenti recuperati. Search-o1 integra un flusso di lavoro di ricerca agente nel processo di ragionamento, consentendo il recupero dinamico di conoscenze esterne quando i LRM incontrano punti di conoscenza incerti. Inoltre, a causa della natura prolissa dei documenti recuperati, progettiamo un modulo Reason-in-Documents separato per analizzare approfonditamente le informazioni recuperate prima di iniettarle nella catena di ragionamento, riducendo il rumore e preservando un flusso di ragionamento coerente. Estesi esperimenti su compiti di ragionamento complessi in scienza, matematica e codifica, nonché su sei benchmark di domande e risposte a dominio aperto, dimostrano le elevate prestazioni di Search-o1. Questo approccio potenzia l'affidabilità e l'applicabilità dei LRM in compiti di ragionamento complessi, aprendo la strada a sistemi intelligenti più affidabili e versatili. Il codice è disponibile su https://github.com/sunnynexus/Search-o1.

English

Large reasoning models (LRMs) like OpenAI-o1 have demonstrated impressive long stepwise reasoning capabilities through large-scale reinforcement learning. However, their extended reasoning processes often suffer from knowledge insufficiency, leading to frequent uncertainties and potential errors. To address this limitation, we introduce Search-o1, a framework that enhances LRMs with an agentic retrieval-augmented generation (RAG) mechanism and a Reason-in-Documents module for refining retrieved documents. Search-o1 integrates an agentic search workflow into the reasoning process, enabling dynamic retrieval of external knowledge when LRMs encounter uncertain knowledge points. Additionally, due to the verbose nature of retrieved documents, we design a separate Reason-in-Documents module to deeply analyze the retrieved information before injecting it into the reasoning chain, minimizing noise and preserving coherent reasoning flow. Extensive experiments on complex reasoning tasks in science, mathematics, and coding, as well as six open-domain QA benchmarks, demonstrate the strong performance of Search-o1. This approach enhances the trustworthiness and applicability of LRMs in complex reasoning tasks, paving the way for more reliable and versatile intelligent systems. The code is available at https://github.com/sunnynexus/Search-o1.