Weiterentwicklung des tieferen LLM-Denkens

Evolving Deeper LLM Thinking

January 17, 2025

Autoren: Kuang-Huei Lee, Ian Fischer, Yueh-Hua Wu, Dave Marwood, Shumeet Baluja, Dale Schuurmans, Xinyun Chen

cs.AI

Zusammenfassung

Wir erforschen eine evolutionäre Suchstrategie zur Skalierung der Inferenzzeitberechnung in großen Sprachmodellen. Der vorgeschlagene Ansatz, Mind Evolution, verwendet ein Sprachmodell, um Kandidatenantworten zu generieren, neu zu kombinieren und zu verfeinern. Der vorgeschlagene Ansatz vermeidet die Notwendigkeit, das zugrunde liegende Inferenzproblem zu formalisieren, solange ein Lösungsbewerter verfügbar ist. Bei Kontrolle der Inferenzkosten stellen wir fest, dass Mind Evolution in natürlichen Sprachplanungsaufgaben signifikant bessere Leistungen erbringt als andere Inferenzstrategien wie Best-of-N und Sequential Revision. In den Benchmarks TravelPlanner und Natural Plan löst Mind Evolution mehr als 98% der Problemfälle mit Gemini 1.5 Pro, ohne einen formalen Solver zu verwenden.

English

We explore an evolutionary search strategy for scaling inference time compute in Large Language Models. The proposed approach, Mind Evolution, uses a language model to generate, recombine and refine candidate responses. The proposed approach avoids the need to formalize the underlying inference problem whenever a solution evaluator is available. Controlling for inference cost, we find that Mind Evolution significantly outperforms other inference strategies such as Best-of-N and Sequential Revision in natural language planning tasks. In the TravelPlanner and Natural Plan benchmarks, Mind Evolution solves more than 98% of the problem instances using Gemini 1.5 Pro without the use of a formal solver.