Auf dem Weg zu großen Reasoning-Modellen: Eine Umfrage zu verstärktem Reasoning mit großen Sprachmodellen.

Towards Large Reasoning Models: A Survey of Reinforced Reasoning with Large Language Models

January 16, 2025

Autoren: Fengli Xu, Qianyue Hao, Zefang Zong, Jingwei Wang, Yunke Zhang, Jingyi Wang, Xiaochong Lan, Jiahui Gong, Tianjian Ouyang, Fanjin Meng, Chenyang Shao, Yuwei Yan, Qinglong Yang, Yiwen Song, Sijian Ren, Xinyuan Hu, Yu Li, Jie Feng, Chen Gao, Yong Li

cs.AI

Zusammenfassung

Sprache wurde lange Zeit als ein wesentliches Werkzeug für menschliches Denken betrachtet. Der Durchbruch der Großen Sprachmodelle (LLMs) hat ein signifikantes Forschungsinteresse an der Nutzung dieser Modelle zur Bewältigung komplexer Denkaufgaben ausgelöst. Forscher sind über die einfache autoregressive Token-Generierung hinausgegangen, indem sie das Konzept des "Gedankens" eingeführt haben - eine Sequenz von Tokens, die Zwischenschritte im Denkprozess darstellen. Dieses innovative Paradigma ermöglicht es LLMs, komplexe menschliche Denkprozesse wie Baumsuche und reflektierendes Denken nachzuahmen. In letzter Zeit hat sich ein aufkommender Trend des Lernens, zu denken, verstärkendes Lernen (RL) angewendet, um LLMs zu trainieren, Denkprozesse zu beherrschen. Dieser Ansatz ermöglicht die automatische Generierung hochwertiger Denkpfade durch Trial-and-Error-Suchalgorithmen und erweitert signifikant die Denkkapazität von LLMs, indem wesentlich mehr Trainingsdaten bereitgestellt werden. Darüber hinaus zeigen jüngste Studien, dass LLMs durch die Ermutigung, während der Testzeit-Inferenz mit mehr Tokens zu "denken", die Denkgenauigkeit weiter signifikant steigern können. Daher zeigen die Trainings- und Testzeit-Skalierung zusammen einen neuen Forschungsbereich - einen Weg zum Großen Denkmodell. Die Einführung der o1-Serie von OpenAI markiert einen bedeutenden Meilenstein in dieser Forschungsrichtung. In dieser Übersicht präsentieren wir eine umfassende Überprüfung des jüngsten Fortschritts im Denken von LLMs. Wir beginnen mit der Einführung des grundlegenden Hintergrunds von LLMs und untersuchen dann die wichtigsten technischen Komponenten, die die Entwicklung großer Denkmodelle vorantreiben, mit einem Schwerpunkt auf automatischer Datenerstellung, Lern-zu-Denken-Techniken und Testzeit-Skalierung. Wir analysieren auch beliebte Open-Source-Projekte zum Aufbau großer Denkmodelle und schließen mit offenen Herausforderungen und zukünftigen Forschungsrichtungen.

English

Language has long been conceived as an essential tool for human reasoning. The breakthrough of Large Language Models (LLMs) has sparked significant research interest in leveraging these models to tackle complex reasoning tasks. Researchers have moved beyond simple autoregressive token generation by introducing the concept of "thought" -- a sequence of tokens representing intermediate steps in the reasoning process. This innovative paradigm enables LLMs' to mimic complex human reasoning processes, such as tree search and reflective thinking. Recently, an emerging trend of learning to reason has applied reinforcement learning (RL) to train LLMs to master reasoning processes. This approach enables the automatic generation of high-quality reasoning trajectories through trial-and-error search algorithms, significantly expanding LLMs' reasoning capacity by providing substantially more training data. Furthermore, recent studies demonstrate that encouraging LLMs to "think" with more tokens during test-time inference can further significantly boost reasoning accuracy. Therefore, the train-time and test-time scaling combined to show a new research frontier -- a path toward Large Reasoning Model. The introduction of OpenAI's o1 series marks a significant milestone in this research direction. In this survey, we present a comprehensive review of recent progress in LLM reasoning. We begin by introducing the foundational background of LLMs and then explore the key technical components driving the development of large reasoning models, with a focus on automated data construction, learning-to-reason techniques, and test-time scaling. We also analyze popular open-source projects at building large reasoning models, and conclude with open challenges and future research directions.