Het ontwikkelen van dieper LLM-denken.

Evolving Deeper LLM Thinking

January 17, 2025

Auteurs: Kuang-Huei Lee, Ian Fischer, Yueh-Hua Wu, Dave Marwood, Shumeet Baluja, Dale Schuurmans, Xinyun Chen

cs.AI

Samenvatting

We onderzoeken een evolutionaire zoekstrategie voor het schalen van de rekentijd voor inferentie in Grote Taalmodellen. De voorgestelde aanpak, Mind Evolution, maakt gebruik van een taalmodel om kandidaatreacties te genereren, recombineren en verfijnen. De voorgestelde aanpak vermijdt de noodzaak om het onderliggende inferentieprobleem te formaliseren wanneer een oplossingsevaluator beschikbaar is. Door te controleren op inferentiekosten, vinden we dat Mind Evolution aanzienlijk beter presteert dan andere inferentiestrategieën zoals Best-of-N en Sequentiële Revisie bij natuurlijke taalplanningstaken. In de benchmarks TravelPlanner en Natural Plan lost Mind Evolution meer dan 98% van de probleemgevallen op met behulp van Gemini 1.5 Pro zonder een formele oplosser te gebruiken.

English

We explore an evolutionary search strategy for scaling inference time compute in Large Language Models. The proposed approach, Mind Evolution, uses a language model to generate, recombine and refine candidate responses. The proposed approach avoids the need to formalize the underlying inference problem whenever a solution evaluator is available. Controlling for inference cost, we find that Mind Evolution significantly outperforms other inference strategies such as Best-of-N and Sequential Revision in natural language planning tasks. In the TravelPlanner and Natural Plan benchmarks, Mind Evolution solves more than 98% of the problem instances using Gemini 1.5 Pro without the use of a formal solver.