심층 LLM 사고 발전

Evolving Deeper LLM Thinking

January 17, 2025

저자: Kuang-Huei Lee, Ian Fischer, Yueh-Hua Wu, Dave Marwood, Shumeet Baluja, Dale Schuurmans, Xinyun Chen

cs.AI

초록

대규모 언어 모델에서 추론 시간 계산을 확장하기 위한 진화적 탐색 전략을 탐구합니다. 제안된 방법인 마인드 진화는 언어 모델을 사용하여 후보 응답을 생성, 재결합 및 정제합니다. 제안된 방법은 해결 평가자가 제공될 때 기본 추론 문제를 형식화할 필요가 없습니다. 추론 비용을 제어하는 경우, 마인드 진화가 Best-of-N 및 Sequential Revision과 같은 다른 추론 전략을 크게 능가함을 발견했습니다. TravelPlanner 및 Natural Plan 벤치마크에서 마인드 진화는 Gemini 1.5 Pro를 사용하여 형식적인 솔버를 사용하지 않고 문제 인스턴스의 98% 이상을 해결합니다.

English

We explore an evolutionary search strategy for scaling inference time compute in Large Language Models. The proposed approach, Mind Evolution, uses a language model to generate, recombine and refine candidate responses. The proposed approach avoids the need to formalize the underlying inference problem whenever a solution evaluator is available. Controlling for inference cost, we find that Mind Evolution significantly outperforms other inference strategies such as Best-of-N and Sequential Revision in natural language planning tasks. In the TravelPlanner and Natural Plan benchmarks, Mind Evolution solves more than 98% of the problem instances using Gemini 1.5 Pro without the use of a formal solver.