BoostStep: Aumentando a capacidade matemática de Modelos de Linguagem Grandes por meio de raciocínio de um passo aprimorado

BoostStep: Boosting mathematical capability of Large Language Models via improved single-step reasoning

January 6, 2025

Autores: Beichen Zhang, Yuhong Liu, Xiaoyi Dong, Yuhang Zang, Pan Zhang, Haodong Duan, Yuhang Cao, Dahua Lin, Jiaqi Wang

cs.AI

Resumo

Os modelos de linguagem grandes de ponta (LLMs) demonstram um desempenho promissor na resolução de problemas matemáticos complexos com um pipeline de dividir e conquistar e a assistência de exemplos de aprendizado em contexto (ICL). No entanto, seu potencial de melhoria é limitado por dois problemas críticos dentro de seus exemplos de ICL: a falta de correspondência de granularidade e o subsequente problema de ruído de efeito negativo. Especificamente, os LLMs são capazes do processo de divisão, mas falham principalmente devido a raciocínio impreciso em algumas etapas de conquista, enquanto os exemplos de ICL recuperados em granularidade de questão às vezes carecem de etapas relevantes para uma etapa específica de raciocínio desafiadora. Além disso, essa desconexão pode prejudicar o raciocínio correto devido à sua irrelevância. Com isso, focamos em melhorar a qualidade de raciocínio dentro de cada etapa e apresentamos o BoostStep. O BoostStep alinha a granularidade entre a recuperação e o raciocínio em granularidade de etapa, e fornece exemplos de ICL altamente relacionados para cada etapa de raciocínio com uma estratégia inovadora de 'primeira tentativa'. O BoostStep fornece exemplos mais relevantes do que a estratégia de granularidade de questão grosseira, aprimorando a qualidade de raciocínio do modelo dentro de cada etapa de forma constante. O BoostStep é um método geral e robusto de aprimoramento de raciocínio que não apenas melhora o desempenho de raciocínio independente, mas também se integra perfeitamente com métodos de Busca em Árvore de Monte Carlo (MCTS) para refinar tanto a geração de candidatos quanto a tomada de decisão. Quantitativamente, melhora o GPT-4o e o Qwen2.5-Math-72B em 3,6\% e 2,0\%, respectivamente, em vários benchmarks matemáticos, e 7,5\% combinado com MCTS.

English

Cutting-edge large language models (LLMs) demonstrate promising performance in solving complex math problems with a divide-and-conquer pipeline and the assistance of in-context learning (ICL) examples. However, their potential for improvement is limited by two critical problems within their ICL examples: granularity-mismatch and the ensuing negative-effect noise problem. Specifically, the LLMs are capable of the dividing process yet mostly failed by inaccurate reasoning within a few conquer steps, while the ICL examples retrieved in question-grained sometimes lack relevant steps for a specific challenging reasoning step. Further, this disconnect may hinder the correct reasoning due to its irrelevance. To this end, we focus on improving the reasoning quality within each step and present BoostStep. BoostStep aligns the granularity between the retrieving and reasoning on step grained, and provides highly related ICL examples for each reasoning step with a novel `first-try' strategy. BoostStep provides more relevant examples than the coarse question-grained strategy, enhancing the model reasoning quality within each step steadily. BoostStep is a general and robust reasoning-enhancing method that not only improves standalone reasoning performance but also integrates seamlessly with Monte Carlo Tree Search methods (MCTS) to refine both candidate generation and decision-making. Quantitatively, it improves GPT-4o and Qwen2.5-Math-72B by 3.6\% and 2.0\% respectively on various mathematical benchmarks, and 7.5\% gain combined with MCTS.