Schrittweises KTO: Optimierung mathematischer Argumentation durch schrittweise binäres Feedback.

Step-KTO: Optimizing Mathematical Reasoning through Stepwise Binary Feedback

January 18, 2025

Autoren: Yen-Ting Lin, Di Jin, Tengyu Xu, Tianhao Wu, Sainbayar Sukhbaatar, Chen Zhu, Yun He, Yun-Nung Chen, Jason Weston, Yuandong Tian, Arash Rahnama, Sinong Wang, Hao Ma, Han Fang

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) haben kürzlich bemerkenswerte Erfolge in mathematischem Denken gezeigt. Trotz Fortschritten in Methoden wie Ketten-von-Gedanken-Anregung und Selbstkonsistenz-Sampling konzentrieren sich diese Fortschritte oft auf die endgültige Korrektheit, ohne sicherzustellen, dass der zugrunde liegende Denkprozess kohärent und zuverlässig ist. Dieser Artikel stellt Step-KTO vor, ein Schulungsrahmen, der Prozess- und Ergebnisebene binäres Feedback kombiniert, um LLMs auf vertrauenswürdigere Denkwege zu lenken. Durch die Bereitstellung von binären Bewertungen sowohl für die Zwischenschritte des Denkens als auch für die endgültige Antwort ermutigt Step-KTO das Modell, logischen Fortschritten zu folgen, anstatt sich auf oberflächliche Abkürzungen zu verlassen. Unsere Experimente an anspruchsvollen mathematischen Benchmarks zeigen, dass Step-KTO sowohl die Genauigkeit der endgültigen Antwort als auch die Qualität der Zwischenschritte des Denkens signifikant verbessert. Beispielsweise erreicht Step-KTO auf dem MATH-500 Datensatz eine bemerkenswerte Verbesserung der Pass@1-Genauigkeit gegenüber starken Baselines. Diese Ergebnisse unterstreichen das Potenzial der Integration von schrittweisem Prozessfeedback in das Training von LLMs und ebnet den Weg zu interpretierbareren und verlässlicheren Denkfähigkeiten.

English

Large language models (LLMs) have recently demonstrated remarkable success in mathematical reasoning. Despite progress in methods like chain-of-thought prompting and self-consistency sampling, these advances often focus on final correctness without ensuring that the underlying reasoning process is coherent and reliable. This paper introduces Step-KTO, a training framework that combines process-level and outcome-level binary feedback to guide LLMs toward more trustworthy reasoning trajectories. By providing binary evaluations for both the intermediate reasoning steps and the final answer, Step-KTO encourages the model to adhere to logical progressions rather than relying on superficial shortcuts. Our experiments on challenging mathematical benchmarks show that Step-KTO significantly improves both final answer accuracy and the quality of intermediate reasoning steps. For example, on the MATH-500 dataset, Step-KTO achieves a notable improvement in Pass@1 accuracy over strong baselines. These results highlight the promise of integrating stepwise process feedback into LLM training, paving the way toward more interpretable and dependable reasoning capabilities.