PlanGEN: Мультиагентный фреймворк для генерации планирования и логических траекторий для решения сложных проблем.

PlanGEN: A Multi-Agent Framework for Generating Planning and Reasoning Trajectories for Complex Problem Solving

February 22, 2025

Авторы: Mihir Parmar, Xin Liu, Palash Goyal, Yanfei Chen, Long Le, Swaroop Mishra, Hossein Mobahi, Jindong Gu, Zifeng Wang, Hootan Nakhost, Chitta Baral, Chen-Yu Lee, Tomas Pfister, Hamid Palangi

cs.AI

Аннотация

Недавние агентские фреймворки и алгоритмы времени вывода часто сталкиваются с сложными проблемами планирования из-за ограничений в верификации созданных планов или рассуждений и различной сложности экземпляров в рамках одной задачи. Многие существующие методы для этих задач либо выполняют верификацию на уровне задачи, не учитывая ограничения, либо применяют алгоритмы времени вывода, не адаптируясь к сложности на уровне экземпляра. Для решения этих ограничений мы предлагаем PlanGEN, фреймворк агента, не зависящий от модели и легко масштабируемый, с тремя ключевыми компонентами: агентами ограничений, верификации и выбора. Конкретно, наш подход предлагает ограниченно-управляемую итеративную верификацию для улучшения производительности алгоритмов времени вывода - Best of N, Tree-of-Thought и REBASE. В рамках фреймворка PlanGEN агент выбора оптимизирует выбор алгоритма на основе сложности экземпляра, обеспечивая лучшую адаптивность к сложным проблемам планирования. Экспериментальные результаты демонстрируют значительные улучшения по сравнению с самым сильным базовым уровнем на нескольких бенчмарках, достигая передовых результатов на NATURAL PLAN (прибл. 8%↑), OlympiadBench (прибл. 4%↑), DocFinQA (прибл. 7%↑) и GPQA (прибл. 1%↑). Нашим ключевым выводом является то, что ограниченно-управляемая итеративная верификация улучшает алгоритмы времени вывода, а адаптивный выбор дополнительно повышает производительность при решении сложных проблем планирования и рассуждений.

English

Recent agent frameworks and inference-time algorithms often struggle with complex planning problems due to limitations in verifying generated plans or reasoning and varying complexity of instances within a single task. Many existing methods for these tasks either perform task-level verification without considering constraints or apply inference-time algorithms without adapting to instance-level complexity. To address these limitations, we propose PlanGEN, a model-agnostic and easily scalable agent framework with three key components: constraint, verification, and selection agents. Specifically, our approach proposes constraint-guided iterative verification to enhance performance of inference-time algorithms--Best of N, Tree-of-Thought, and REBASE. In PlanGEN framework, the selection agent optimizes algorithm choice based on instance complexity, ensuring better adaptability to complex planning problems. Experimental results demonstrate significant improvements over the strongest baseline across multiple benchmarks, achieving state-of-the-art results on NATURAL PLAN (sim8%uparrow), OlympiadBench (sim4%uparrow), DocFinQA (sim7%uparrow), and GPQA (sim1%uparrow). Our key finding highlights that constraint-guided iterative verification improves inference-time algorithms, and adaptive selection further boosts performance on complex planning and reasoning problems.