К большим моделям рассуждений: обзор усиленного рассуждения с большими языковыми моделями

Towards Large Reasoning Models: A Survey of Reinforced Reasoning with Large Language Models

January 16, 2025

Авторы: Fengli Xu, Qianyue Hao, Zefang Zong, Jingwei Wang, Yunke Zhang, Jingyi Wang, Xiaochong Lan, Jiahui Gong, Tianjian Ouyang, Fanjin Meng, Chenyang Shao, Yuwei Yan, Qinglong Yang, Yiwen Song, Sijian Ren, Xinyuan Hu, Yu Li, Jie Feng, Chen Gao, Yong Li

cs.AI

Аннотация

Язык давно рассматривается как важный инструмент для человеческого мышления. Прорыв в области Больших Языковых Моделей (БЯМ) вызвал значительный интерес исследователей к использованию этих моделей для решения сложных задач рассуждения. Исследователи перешли от простой авторегрессивной генерации токенов, представив концепцию "мысли" - последовательность токенов, представляющую промежуточные этапы в процессе рассуждения. Этот инновационный парадигма позволяет БЯМ имитировать сложные процессы человеческого рассуждения, такие как поиск по дереву и рефлексивное мышление. Недавно возникшая тенденция обучения рассуждения применяет обучение с подкреплением (ОП) для обучения БЯМ овладению процессами рассуждения. Этот подход позволяет автоматически генерировать траектории рассуждения высокого качества с помощью алгоритмов проб и ошибок, значительно расширяя возможности рассуждения БЯМ за счет предоставления гораздо большего объема обучающих данных. Более того, недавние исследования показывают, что поощрение БЯМ "думать" с более большим количеством токенов во время вывода на тесте может значительно улучшить точность рассуждения. Таким образом, комбинирование масштабирования на этапе обучения и на этапе тестирования показывает новую исследовательскую границу - путь к Большой Модели Рассуждения. Появление серии o1 от OpenAI является значительным вехой в этом направлении исследований. В этом обзоре мы представляем всесторонний обзор недавних достижений в рассуждении БЯМ. Мы начинаем с введения основных принципов БЯМ, а затем исследуем ключевые технические компоненты, способствующие развитию больших моделей рассуждения, с акцентом на автоматизированном создании данных, техниках обучения рассуждению и масштабировании на этапе тестирования. Мы также анализируем популярные проекты с открытым исходным кодом по созданию больших моделей рассуждения и заканчиваем открытыми вызовами и направлениями будущих исследований.

English

Language has long been conceived as an essential tool for human reasoning. The breakthrough of Large Language Models (LLMs) has sparked significant research interest in leveraging these models to tackle complex reasoning tasks. Researchers have moved beyond simple autoregressive token generation by introducing the concept of "thought" -- a sequence of tokens representing intermediate steps in the reasoning process. This innovative paradigm enables LLMs' to mimic complex human reasoning processes, such as tree search and reflective thinking. Recently, an emerging trend of learning to reason has applied reinforcement learning (RL) to train LLMs to master reasoning processes. This approach enables the automatic generation of high-quality reasoning trajectories through trial-and-error search algorithms, significantly expanding LLMs' reasoning capacity by providing substantially more training data. Furthermore, recent studies demonstrate that encouraging LLMs to "think" with more tokens during test-time inference can further significantly boost reasoning accuracy. Therefore, the train-time and test-time scaling combined to show a new research frontier -- a path toward Large Reasoning Model. The introduction of OpenAI's o1 series marks a significant milestone in this research direction. In this survey, we present a comprehensive review of recent progress in LLM reasoning. We begin by introducing the foundational background of LLMs and then explore the key technical components driving the development of large reasoning models, with a focus on automated data construction, learning-to-reason techniques, and test-time scaling. We also analyze popular open-source projects at building large reasoning models, and conclude with open challenges and future research directions.