Pesquisa-o1: Modelos de Raciocínio Amplo Aprimorados com Busca Agente.

Search-o1: Agentic Search-Enhanced Large Reasoning Models

January 9, 2025

Autores: Xiaoxi Li, Guanting Dong, Jiajie Jin, Yuyao Zhang, Yujia Zhou, Yutao Zhu, Peitian Zhang, Zhicheng Dou

cs.AI

Resumo

Modelos de raciocínio extenso (LRMs), como o OpenAI-o1, têm demonstrado impressionantes capacidades de raciocínio passo a passo por meio de aprendizado por reforço em larga escala. No entanto, seus processos de raciocínio estendidos frequentemente sofrem de insuficiência de conhecimento, resultando em incertezas frequentes e possíveis erros. Para lidar com essa limitação, apresentamos o Search-o1, um framework que aprimora os LRMs com um mecanismo de geração aumentado por recuperação agente (RAG) e um módulo de Raciocínio em Documentos para refinar os documentos recuperados. O Search-o1 integra um fluxo de trabalho de busca agente no processo de raciocínio, permitindo a recuperação dinâmica de conhecimento externo quando os LRMs encontram pontos de conhecimento incertos. Além disso, devido à natureza detalhada dos documentos recuperados, projetamos um módulo separado de Raciocínio em Documentos para analisar profundamente as informações recuperadas antes de injetá-las na cadeia de raciocínio, minimizando ruídos e preservando o fluxo de raciocínio coerente. Experimentos extensivos em tarefas complexas de raciocínio em ciência, matemática e codificação, bem como em seis benchmarks de perguntas e respostas de domínio aberto, demonstram o forte desempenho do Search-o1. Esta abordagem aprimora a confiabilidade e aplicabilidade dos LRMs em tarefas de raciocínio complexas, abrindo caminho para sistemas inteligentes mais confiáveis e versáteis. O código está disponível em https://github.com/sunnynexus/Search-o1.

English

Large reasoning models (LRMs) like OpenAI-o1 have demonstrated impressive long stepwise reasoning capabilities through large-scale reinforcement learning. However, their extended reasoning processes often suffer from knowledge insufficiency, leading to frequent uncertainties and potential errors. To address this limitation, we introduce Search-o1, a framework that enhances LRMs with an agentic retrieval-augmented generation (RAG) mechanism and a Reason-in-Documents module for refining retrieved documents. Search-o1 integrates an agentic search workflow into the reasoning process, enabling dynamic retrieval of external knowledge when LRMs encounter uncertain knowledge points. Additionally, due to the verbose nature of retrieved documents, we design a separate Reason-in-Documents module to deeply analyze the retrieved information before injecting it into the reasoning chain, minimizing noise and preserving coherent reasoning flow. Extensive experiments on complex reasoning tasks in science, mathematics, and coding, as well as six open-domain QA benchmarks, demonstrate the strong performance of Search-o1. This approach enhances the trustworthiness and applicability of LRMs in complex reasoning tasks, paving the way for more reliable and versatile intelligent systems. The code is available at https://github.com/sunnynexus/Search-o1.