과정 보상 안내 트리 탐색을 사용하여 대규모 언어 모델을 앙상블하여 더 나은 복잡한 추론을 위한 연구
Ensembling Large Language Models with Process Reward-Guided Tree Search for Better Complex Reasoning
December 20, 2024
저자: Sungjin Park, Xiao Liu, Yeyun Gong, Edward Choi
cs.AI
초록
최근 대형 언어 모델의 발전에도 불구하고, 오픈 소스 모델은 복잡한 추론 작업에서 일관된 성능을 발휘하기 어려운 경우가 많습니다. 기존의 앙상블 방법은 토큰 또는 출력 수준에서 적용되더라도 이러한 도전에 대처하지 못합니다. 이에 우리는 언어 모델 앙상블과 몬테 카를로 트리 탐색(LE-MCTS)을 제안하여 언어 모델의 프로세스 수준 앙상블을 위한 혁신적인 프레임워크를 제시합니다. LE-MCTS는 언어 모델의 앙상블을 마르코프 결정 과정으로 단계별 추론으로 정의합니다. 이 프레임워크에서 상태는 중간 추론 경로를 나타내며, 행동은 미리 정의된 풀에서 선택된 언어 모델 중 하나를 사용하여 다음 추론 단계를 생성하는 것으로 구성됩니다. 프로세스 기반 보상 모델에 따라 LE-MCTS는 서로 다른 언어 모델에 의해 생성된 추론 단계에 대한 트리 탐색을 수행하여 가장 정확한 추론 체인을 식별합니다. 다섯 가지 수학적 추론 벤치마크에서의 실험 결과는 우리의 접근 방식이 단일 언어 모델 디코딩 알고리즘과 언어 모델 앙상블 방법을 능가함을 보여줍니다. 특히, LE-MCTS는 MATH 및 MQA 데이터셋에서 각각 3.6% 및 4.3%의 성능 향상을 보여 복잡한 추론 문제 해결 능력을 강조합니다.
English
Despite recent advances in large language models, open-source models often
struggle to consistently perform well on complex reasoning tasks. Existing
ensemble methods, whether applied at the token or output levels, fail to
address these challenges. In response, we present Language model Ensemble with
Monte Carlo Tree Search (LE-MCTS), a novel framework for process-level
ensembling of language models. LE-MCTS formulates step-by-step reasoning with
an ensemble of language models as a Markov decision process. In this framework,
states represent intermediate reasoning paths, while actions consist of
generating the next reasoning step using one of the language models selected
from a predefined pool. Guided by a process-based reward model, LE-MCTS
performs a tree search over the reasoning steps generated by different language
models, identifying the most accurate reasoning chain. Experimental results on
five mathematical reasoning benchmarks demonstrate that our approach
outperforms both single language model decoding algorithms and language model
ensemble methods. Notably, LE-MCTS improves performance by 3.6% and 4.3% on the
MATH and MQA datasets, respectively, highlighting its effectiveness in solving
complex reasoning problems.