BoostStep: 개선된 단일 단계 추론을 통해 대형 언어 모델의 수학 능력을 향상시키는 방법

BoostStep: Boosting mathematical capability of Large Language Models via improved single-step reasoning

January 6, 2025

저자: Beichen Zhang, Yuhong Liu, Xiaoyi Dong, Yuhang Zang, Pan Zhang, Haodong Duan, Yuhang Cao, Dahua Lin, Jiaqi Wang

cs.AI

초록

최첨단 대형 언어 모델(LLM)은 분할 정복 파이프라인과 맥락 내 학습(ICL) 예제의 지원을 통해 복잡한 수학 문제를 해결하는 데 유망한 성능을 보여줍니다. 그러나 그들의 개선 가능성은 ICL 예제 내 두 가지 핵심 문제에 의해 제한됩니다: 세분성 불일치와 그로 인한 부정적 영향 잡음 문제. 구체적으로, LLM은 분할 과정을 수행할 수 있지만 대부분의 정복 단계에서 부정확한 추론으로 실패하며, 질문 단위로 검색된 ICL 예제는 때로는 특정 어려운 추론 단계에 대한 관련 단계가 부족합니다. 더 나아가, 이러한 연결 끊김은 관련성 부족으로 인해 올바른 추론을 방해할 수 있습니다. 이에 우리는 각 단계 내에서 추론 품질을 향상시키는 데 초점을 맞추고 BoostStep을 제안합니다. BoostStep은 검색 및 추론 간의 세분성을 조정하고 각 추론 단계에 대해 새로운 '첫 시도' 전략을 사용하여 매우 관련된 ICL 예제를 제공합니다. BoostStep은 거친 질문 단위 전략보다 더 많은 관련 예제를 제공하여 각 단계 내에서 모델 추론 품질을 꾸준히 향상시킵니다. BoostStep은 독립적인 추론 성능을 향상시키는 데 그치지 않고 Monte Carlo Tree Search 방법(MCTS)과 원활하게 통합하여 후보 생성 및 의사 결정을 미세 조정합니다. 양적으로, 다양한 수학적 벤치마크에서 GPT-4o 및 Qwen2.5-Math-72B의 성능을 각각 3.6\% 및 2.0\% 향상시키고, MCTS와 결합하여 7.5\%의 이득을 얻습니다.

English

Cutting-edge large language models (LLMs) demonstrate promising performance in solving complex math problems with a divide-and-conquer pipeline and the assistance of in-context learning (ICL) examples. However, their potential for improvement is limited by two critical problems within their ICL examples: granularity-mismatch and the ensuing negative-effect noise problem. Specifically, the LLMs are capable of the dividing process yet mostly failed by inaccurate reasoning within a few conquer steps, while the ICL examples retrieved in question-grained sometimes lack relevant steps for a specific challenging reasoning step. Further, this disconnect may hinder the correct reasoning due to its irrelevance. To this end, we focus on improving the reasoning quality within each step and present BoostStep. BoostStep aligns the granularity between the retrieving and reasoning on step grained, and provides highly related ICL examples for each reasoning step with a novel `first-try' strategy. BoostStep provides more relevant examples than the coarse question-grained strategy, enhancing the model reasoning quality within each step steadily. BoostStep is a general and robust reasoning-enhancing method that not only improves standalone reasoning performance but also integrates seamlessly with Monte Carlo Tree Search methods (MCTS) to refine both candidate generation and decision-making. Quantitatively, it improves GPT-4o and Qwen2.5-Math-72B by 3.6\% and 2.0\% respectively on various mathematical benchmarks, and 7.5\% gain combined with MCTS.