BoostStep: Potenziare la capacità matematica dei Grandi Modelli Linguistici tramite un miglioramento del ragionamento in un singolo passo.

BoostStep: Boosting mathematical capability of Large Language Models via improved single-step reasoning

January 6, 2025

Autori: Beichen Zhang, Yuhong Liu, Xiaoyi Dong, Yuhang Zang, Pan Zhang, Haodong Duan, Yuhang Cao, Dahua Lin, Jiaqi Wang

cs.AI

Abstract

I modelli linguistici di grandi dimensioni (LLM) all'avanguardia dimostrano prestazioni promettenti nella risoluzione di problemi matematici complessi con un flusso di lavoro di divide-et-impera e l'assistenza di esempi di apprendimento contestuale (ICL). Tuttavia, il loro potenziale di miglioramento è limitato da due problemi critici all'interno dei loro esempi di ICL: la discrepanza di granularità e il conseguente problema di rumore negativo. In particolare, i LLM sono capaci del processo di divisione ma falliscono principalmente a causa di un ragionamento inaccurato entro pochi passaggi di conquista, mentre gli esempi di ICL recuperati a livello di domanda talvolta mancano di passaggi rilevanti per uno specifico passaggio di ragionamento impegnativo. Inoltre, questa disconnessione potrebbe ostacolare il ragionamento corretto a causa della sua irrilevanza. A tal fine, ci concentriamo sul miglioramento della qualità del ragionamento all'interno di ciascun passaggio e presentiamo BoostStep. BoostStep allinea la granularità tra il recupero e il ragionamento a livello di passaggio e fornisce esempi di ICL altamente correlati per ciascun passaggio di ragionamento con una nuova strategia di "primo tentativo". BoostStep fornisce esempi più rilevanti rispetto alla strategia di granularità della domanda grossolana, migliorando costantemente la qualità del ragionamento del modello all'interno di ciascun passaggio. BoostStep è un metodo generale e robusto per migliorare il ragionamento che non solo migliora le prestazioni di ragionamento autonomo ma si integra senza soluzione di continuità con i metodi di ricerca ad albero di Monte Carlo (MCTS) per perfezionare sia la generazione di candidati che la presa di decisioni. Dal punto di vista quantitativo, migliora GPT-4o e Qwen2.5-Math-72B rispettivamente del 3,6\% e del 2,0\% su vari benchmark matematici, e del 7,5\% combinato con MCTS.

English

Cutting-edge large language models (LLMs) demonstrate promising performance in solving complex math problems with a divide-and-conquer pipeline and the assistance of in-context learning (ICL) examples. However, their potential for improvement is limited by two critical problems within their ICL examples: granularity-mismatch and the ensuing negative-effect noise problem. Specifically, the LLMs are capable of the dividing process yet mostly failed by inaccurate reasoning within a few conquer steps, while the ICL examples retrieved in question-grained sometimes lack relevant steps for a specific challenging reasoning step. Further, this disconnect may hinder the correct reasoning due to its irrelevance. To this end, we focus on improving the reasoning quality within each step and present BoostStep. BoostStep aligns the granularity between the retrieving and reasoning on step grained, and provides highly related ICL examples for each reasoning step with a novel `first-try' strategy. BoostStep provides more relevant examples than the coarse question-grained strategy, enhancing the model reasoning quality within each step steadily. BoostStep is a general and robust reasoning-enhancing method that not only improves standalone reasoning performance but also integrates seamlessly with Monte Carlo Tree Search methods (MCTS) to refine both candidate generation and decision-making. Quantitatively, it improves GPT-4o and Qwen2.5-Math-72B by 3.6\% and 2.0\% respectively on various mathematical benchmarks, and 7.5\% gain combined with MCTS.