MCTS-RAG: Verbesserung des retrieval-augmentierten Generierens durch Monte-Carlo-Baumsuche

MCTS-RAG: Enhancing Retrieval-Augmented Generation with Monte Carlo Tree Search

March 26, 2025

Autoren: Yunhai Hu, Yilun Zhao, Chen Zhao, Arman Cohan

cs.AI

Zusammenfassung

Wir stellen MCTS-RAG vor, einen neuartigen Ansatz, der die Fähigkeiten kleiner Sprachmodelle bei wissensintensiven Aufgaben durch die Nutzung von Retrieval-Augmented Generation (RAG) zur Bereitstellung relevanter Kontexte und Monte Carlo Tree Search (MCTS) zur Verfeinerung von Argumentationspfaden verbessert. MCTS-RAG integriert Retrieval und Argumentation dynamisch durch einen iterativen Entscheidungsprozess. Im Gegensatz zu standardmäßigen RAG-Methoden, die typischerweise Informationen unabhängig von der Argumentation abrufen und somit Wissen suboptimal integrieren, oder konventioneller MCTS-Argumentation, die ausschließlich auf internem Modellwissen ohne externe Fakten basiert, kombiniert MCTS-RAG strukturierte Argumentation mit adaptivem Retrieval. Dieser integrierte Ansatz verbessert die Entscheidungsfindung, reduziert Halluzinationen und gewährleistet eine höhere faktische Genauigkeit und Antwortkonsistenz. Die experimentellen Ergebnisse auf mehreren Argumentations- und wissensintensiven Datensätzen (z. B. ComplexWebQA, GPQA und FoolMeTwice) zeigen, dass unsere Methode kleinere Sprachmodelle in die Lage versetzt, eine Leistung zu erzielen, die mit der von Spitzenmodellen wie GPT-4 vergleichbar ist, indem sie die Inferenzzeit-Rechenleistung effektiv skaliert. Damit setzt MCTS-RAG einen neuen Standard für die Argumentation in kleinen Modellen.

English

We introduce MCTS-RAG, a novel approach that enhances the reasoning capabilities of small language models on knowledge-intensive tasks by leveraging retrieval-augmented generation (RAG) to provide relevant context and Monte Carlo Tree Search (MCTS) to refine reasoning paths. MCTS-RAG dynamically integrates retrieval and reasoning through an iterative decision-making process. Unlike standard RAG methods, which typically retrieve information independently from reasoning and thus integrate knowledge suboptimally, or conventional MCTS reasoning, which depends solely on internal model knowledge without external facts, MCTS-RAG combines structured reasoning with adaptive retrieval. This integrated approach enhances decision-making, reduces hallucinations, and ensures improved factual accuracy and response consistency. The experimental results on multiple reasoning and knowledge-intensive datasets datasets (i.e., ComplexWebQA, GPQA, and FoolMeTwice) show that our method enables small-scale LMs to achieve performance comparable to frontier LLMs like GPT-4o by effectively scaling inference-time compute, setting a new standard for reasoning in small-scale models.