탐색, 확인 및 피드백: 검증자 엔지니어링을 통한 재훈련 모델의 차세대 패러다임으로의 진화

Search, Verify and Feedback: Towards Next Generation Post-training Paradigm of Foundation Models via Verifier Engineering

November 18, 2024

저자: Xinyan Guan, Yanjiang Liu, Xinyu Lu, Boxi Cao, Ben He, Xianpei Han, Le Sun, Jie Lou, Bowen Yu, Yaojie Lu, Hongyu Lin

cs.AI

초록

기계 학습의 진화는 강력한 모델의 개발과 확장 가능한 지도 신호에 대한 우선순위가 점점 높아지고 있습니다. 그러나 기초 모델의 등장은 그들의 능력을 더 향상시키기 위해 필요한 효과적인 지도 신호를 제공하는 데 중요한 도전을 제기합니다. 따라서 혁신적인 지도 신호와 기술적 접근 방법을 탐구할 필요가 절박합니다. 본 논문에서는 기초 모델 시대를 위해 특별히 설계된 새로운 사후 훈련 패러다임인 '검증자 엔지니어링'을 제안합니다. 검증자 엔지니어링의 핵심은 자동 검증자 모음을 활용하여 검증 작업을 수행하고 기초 모델에 의미 있는 피드백을 제공하는 것에 있습니다. 우리는 검증자 엔지니어링 프로세스를 '탐색, 검증, 피드백' 세 가지 핵심 단계로 체계적으로 분류하고 각 단계 내에서 최신 연구 발전에 대한 포괄적인 검토를 제공합니다. 검증자 엔지니어링이 인공 일반 지능을 달성하기 위한 기본적인 경로로 간주된다고 믿습니다.

English

The evolution of machine learning has increasingly prioritized the development of powerful models and more scalable supervision signals. However, the emergence of foundation models presents significant challenges in providing effective supervision signals necessary for further enhancing their capabilities. Consequently, there is an urgent need to explore novel supervision signals and technical approaches. In this paper, we propose verifier engineering, a novel post-training paradigm specifically designed for the era of foundation models. The core of verifier engineering involves leveraging a suite of automated verifiers to perform verification tasks and deliver meaningful feedback to foundation models. We systematically categorize the verifier engineering process into three essential stages: search, verify, and feedback, and provide a comprehensive review of state-of-the-art research developments within each stage. We believe that verifier engineering constitutes a fundamental pathway toward achieving Artificial General Intelligence.