検索-o1: エージェンティック検索強化大推論モデル

Search-o1: Agentic Search-Enhanced Large Reasoning Models

January 9, 2025

著者: Xiaoxi Li, Guanting Dong, Jiajie Jin, Yuyao Zhang, Yujia Zhou, Yutao Zhu, Peitian Zhang, Zhicheng Dou

cs.AI

要旨

大規模推論モデル（LRM）のようなOpenAI-o1は、大規模な強化学習を通じて印象的な長期段階的推論能力を示しています。ただし、その拡張された推論プロセスはしばしば知識不足に苦しんでおり、頻繁な不確実性や潜在的なエラーを引き起こしています。この制限に対処するために、私たちはSearch-o1を導入します。これは、LRMにエージェント検索増強生成（RAG）メカニズムと文書内推論モジュールを組み込んだフレームワークです。Search-o1は、LRMが不確実な知識点に遭遇したときに外部知識を動的に取得できるようにするエージェント検索ワークフローを推論プロセスに統合します。さらに、取得した文書の冗長性から、推論チェーンに注入する前に取得情報を詳細に分析する独立した文書内推論モジュールを設計し、ノイズを最小限に抑え、一貫した推論フローを保持します。科学、数学、コーディングの複雑な推論タスクや6つのオープンドメインQAベンチマークでの広範な実験により、Search-o1の強力なパフォーマンスが示されました。このアプローチは、LRMの信頼性と適用性を高め、複雑な推論タスクでより信頼性の高い多目的インテリジェントシステムの可能性を切り拓くものです。コードはhttps://github.com/sunnynexus/Search-o1で入手可能です。

English

Large reasoning models (LRMs) like OpenAI-o1 have demonstrated impressive long stepwise reasoning capabilities through large-scale reinforcement learning. However, their extended reasoning processes often suffer from knowledge insufficiency, leading to frequent uncertainties and potential errors. To address this limitation, we introduce Search-o1, a framework that enhances LRMs with an agentic retrieval-augmented generation (RAG) mechanism and a Reason-in-Documents module for refining retrieved documents. Search-o1 integrates an agentic search workflow into the reasoning process, enabling dynamic retrieval of external knowledge when LRMs encounter uncertain knowledge points. Additionally, due to the verbose nature of retrieved documents, we design a separate Reason-in-Documents module to deeply analyze the retrieved information before injecting it into the reasoning chain, minimizing noise and preserving coherent reasoning flow. Extensive experiments on complex reasoning tasks in science, mathematics, and coding, as well as six open-domain QA benchmarks, demonstrate the strong performance of Search-o1. This approach enhances the trustworthiness and applicability of LRMs in complex reasoning tasks, paving the way for more reliable and versatile intelligent systems. The code is available at https://github.com/sunnynexus/Search-o1.