O1 복제 여정 -- 제2부: O1 미리보기를 넘어서는 간단한 증류, 큰 진전 또는 쓴 교훈?

O1 Replication Journey -- Part 2: Surpassing O1-preview through Simple Distillation, Big Progress or Bitter Lesson?

November 25, 2024

저자: Zhen Huang, Haoyang Zou, Xuefeng Li, Yixiu Liu, Yuxiang Zheng, Ethan Chern, Shijie Xia, Yiwei Qin, Weizhe Yuan, Pengfei Liu

cs.AI

초록

본 논문은 OpenAI의 O1 모델 능력을 복제하는 현재 접근 방식에 대한 비판적 검토를 제시하며, 특히 지식 증류 기술의 널리 사용되지만 종종 공개되지 않는 측면에 초점을 맞춥니다. 이전 연구는 O1 복제에 대한 기본 기술적 경로를 탐구했으나, 본 연구는 O1의 API에서의 간단한 증류와 지도 미세 조정을 결합하여 복잡한 수학적 추론 작업에서 우수한 성능을 달성할 수 있는 방법을 밝혀냅니다. 광범위한 실험을 통해, 수만 개의 O1-증류된 샘플에 미세 조정된 기본 모델이 AIME(American Invitational Mathematics Examination)에서 O1-미리보기보다 우수한 성과를 보이는 것을 보여줍니다. 더욱이, 우리의 조사는 수학적 추론을 넘어 O1-증류된 모델의 일반화 능력을 다양한 작업을 통해 탐구합니다: 환각, 안전 및 오픈 도메인 QA. 특히, 수학 문제 해결 데이터만을 학습한에도 불구하고, 우리 모델은 오픈 엔드 QA 작업에 강한 일반화 능력을 보여주었으며, 미세 조정 후에는 현파에 대한 저항력이 크게 향상되었습니다. 우리는 이 발견을 공개적으로 공개하여 AI 연구의 투명성을 증진하고, 분야에서의 불분명한 기술적 주장에 도전합니다. 우리의 작업에는 다음이 포함됩니다: (1) 증류 과정과 그 효과에 대한 상세한 기술적 해설, (2) O1 복제 시도를 기술적 투명성과 재현성에 따라 평가하고 분류하는 포괄적인 벤치마크 프레임워크, (3) 증류 접근 방식에 과도하게 의존하는 한계와 잠재적 위험에 대한 비판적 논의. 우리의 분석은 중요한 쓴 교훈으로 이루어지며, 더 능력 있는 AI 시스템을 추구하는 것은 중요하지만, 원리주의적 사고에 기반을 둔 연구자들의 개발이 중요하다는 것을 결론으로 합니다.

English

This paper presents a critical examination of current approaches to replicating OpenAI's O1 model capabilities, with particular focus on the widespread but often undisclosed use of knowledge distillation techniques. While our previous work explored the fundamental technical path to O1 replication, this study reveals how simple distillation from O1's API, combined with supervised fine-tuning, can achieve superior performance on complex mathematical reasoning tasks. Through extensive experiments, we show that a base model fine-tuned on simply tens of thousands of samples O1-distilled long-thought chains outperforms O1-preview on the American Invitational Mathematics Examination (AIME) with minimal technical complexity. Moreover, our investigation extends beyond mathematical reasoning to explore the generalization capabilities of O1-distilled models across diverse tasks: hallucination, safety and open-domain QA. Notably, despite training only on mathematical problem-solving data, our models demonstrated strong generalization to open-ended QA tasks and became significantly less susceptible to sycophancy after fine-tuning. We deliberately make this finding public to promote transparency in AI research and to challenge the current trend of obscured technical claims in the field. Our work includes: (1) A detailed technical exposition of the distillation process and its effectiveness, (2) A comprehensive benchmark framework for evaluating and categorizing O1 replication attempts based on their technical transparency and reproducibility, (3) A critical discussion of the limitations and potential risks of over-relying on distillation approaches, our analysis culminates in a crucial bitter lesson: while the pursuit of more capable AI systems is important, the development of researchers grounded in first-principles thinking is paramount.