추론 언어 모델: 청사진

Reasoning Language Models: A Blueprint

January 20, 2025

저자: Maciej Besta, Julia Barth, Eric Schreiber, Ales Kubicek, Afonso Catarino, Robert Gerstenberger, Piotr Nyczyk, Patrick Iff, Yueling Li, Sam Houliston, Tomasz Sternal, Marcin Copik, Grzegorz Kwaśniewski, Jürgen Müller, Łukasz Flis, Hannes Eberhard, Hubert Niewiadomski, Torsten Hoefler

cs.AI

초록

추론 언어 모델 (RLM), 또는 대규모 추론 모델 (LRM)로도 알려진 OpenAI의 o1 및 o3, DeepSeek-V3, 그리고 Alibaba의 QwQ와 같은 모델들은 대규모 언어 모델 (LLM)을 고급 추론 메커니즘으로 확장함으로써 AI의 문제 해결 능력을 재정의했습니다. 그러나, 강화 학습 (RL), 탐색 휴리스틱, 그리고 LLM을 독특하게 결합한 복잡한 아키텍처로 인해 높은 비용, 소유권 특성, 그리고 접근성 및 확장 가능성에 도전이 존재합니다. 이를 해결하기 위해, 우리는 RLM 구성 요소를 모듈식 프레임워크로 구성하는 포괄적인 청사진을 제안합니다. 이 청사진은 모든 RLM 작업을 조사하고 분석을 기반으로 다양한 추론 구조 (체인, 트리, 그래프, 중첩 형태), 추론 전략 (예: 몬테카를로 트리 탐색, 빔 탐색), RL 개념 (정책, 가치 모델 등), 그리고 감독 체계 (출력 기반 및 프로세스 기반 감독)을 통합합니다. 또한 RLM 구현을 간소화하기 위해 자세한 수학적 공식 및 알고리즘 사양을 제공합니다. LLaMA-Berry, QwQ, Journey Learning, 그리고 Graph of Thoughts와 같은 특수 케이스로 어떻게 청사진이 다재다능성과 통합 가능성을 보여주는지 설명함으로써 그 유용성을 보여줍니다. 우리는 신속한 RLM 프로토타이핑과 실험을 위한 모듈식 구현인 x1을 소개하여 이를 설명합니다. x1과 문헌 검토를 통해 정책 및 가치 모델의 다단계 훈련, 그리고 익숙한 훈련 분포의 중요성과 같은 주요 통찰을 제공합니다. 마지막으로, RLM이 도구 및 데이터베이스를 포함한 더 넓은 LLM 생태계와 통합하는 방법을 개요로 설명합니다. 우리의 연구는 RLM 구축을 명료화하고 고급 추론 능력을 민주화하며 혁신을 촉진하여 RLM 개발과 실험에 대한 장벽을 낮춤으로써 "부자 AI"와 "가난한 AI" 사이의 격차를 완화하고자 합니다.

English

Reasoning language models (RLMs), also known as Large Reasoning Models (LRMs), such as OpenAI's o1 and o3, DeepSeek-V3, and Alibaba's QwQ, have redefined AI's problem-solving capabilities by extending large language models (LLMs) with advanced reasoning mechanisms. Yet, their high costs, proprietary nature, and complex architectures - uniquely combining Reinforcement Learning (RL), search heuristics, and LLMs - present accessibility and scalability challenges. To address these, we propose a comprehensive blueprint that organizes RLM components into a modular framework, based on a survey and analysis of all RLM works. This blueprint incorporates diverse reasoning structures (chains, trees, graphs, and nested forms), reasoning strategies (e.g., Monte Carlo Tree Search, Beam Search), RL concepts (policy, value models and others), and supervision schemes (Output-Based and Process-Based Supervision). We also provide detailed mathematical formulations and algorithmic specifications to simplify RLM implementation. By showing how schemes like LLaMA-Berry, QwQ, Journey Learning, and Graph of Thoughts fit as special cases, we demonstrate the blueprint's versatility and unifying potential. To illustrate its utility, we introduce x1, a modular implementation for rapid RLM prototyping and experimentation. Using x1 and a literature review, we provide key insights, such as multi-phase training for policy and value models, and the importance of familiar training distributions. Finally, we outline how RLMs can integrate with a broader LLM ecosystem, including tools and databases. Our work demystifies RLM construction, democratizes advanced reasoning capabilities, and fosters innovation, aiming to mitigate the gap between "rich AI" and "poor AI" by lowering barriers to RLM development and experimentation.