Zoeken, Verifiëren en Feedback: Naar het volgende generatie post-training paradigma van foundation modellen via Verifier Engineering.

Search, Verify and Feedback: Towards Next Generation Post-training Paradigm of Foundation Models via Verifier Engineering

November 18, 2024

Auteurs: Xinyan Guan, Yanjiang Liu, Xinyu Lu, Boxi Cao, Ben He, Xianpei Han, Le Sun, Jie Lou, Bowen Yu, Yaojie Lu, Hongyu Lin

cs.AI

Samenvatting

De evolutie van machine learning heeft steeds meer prioriteit gegeven aan de ontwikkeling van krachtige modellen en meer schaalbare toezichtsignalen. Echter, de opkomst van foundation modellen brengt aanzienlijke uitdagingen met zich mee bij het verschaffen van effectieve toezichtsignalen die nodig zijn om hun mogelijkheden verder te verbeteren. Daarom is er een dringende behoefte om nieuwe toezichtsignalen en technische benaderingen te verkennen. In dit artikel stellen we verifier engineering voor, een nieuw paradigma na de training dat specifiek is ontworpen voor het tijdperk van foundation modellen. De kern van verifier engineering omvat het benutten van een reeks geautomatiseerde verifiers om verificatietaken uit te voeren en zinvolle feedback te geven aan foundation modellen. We categoriseren systematisch het verifier engineering proces in drie essentiële stadia: zoeken, verifiëren en feedback geven, en bieden een uitgebreid overzicht van state-of-the-art onderzoeksontwikkelingen binnen elk stadium. We geloven dat verifier engineering een fundamentele weg vormt naar het bereiken van Kunstmatige Algemene Intelligentie.

English

The evolution of machine learning has increasingly prioritized the development of powerful models and more scalable supervision signals. However, the emergence of foundation models presents significant challenges in providing effective supervision signals necessary for further enhancing their capabilities. Consequently, there is an urgent need to explore novel supervision signals and technical approaches. In this paper, we propose verifier engineering, a novel post-training paradigm specifically designed for the era of foundation models. The core of verifier engineering involves leveraging a suite of automated verifiers to perform verification tasks and deliver meaningful feedback to foundation models. We systematically categorize the verifier engineering process into three essential stages: search, verify, and feedback, and provide a comprehensive review of state-of-the-art research developments within each stage. We believe that verifier engineering constitutes a fundamental pathway toward achieving Artificial General Intelligence.