Recherche, Vérification et Retour d'Information : Vers un Paradigme de Post-Entraînement de Nouvelle Génération des Modèles Fondamentaux via l'Ingénierie du Vérificateur

Search, Verify and Feedback: Towards Next Generation Post-training Paradigm of Foundation Models via Verifier Engineering

November 18, 2024

Auteurs: Xinyan Guan, Yanjiang Liu, Xinyu Lu, Boxi Cao, Ben He, Xianpei Han, Le Sun, Jie Lou, Bowen Yu, Yaojie Lu, Hongyu Lin

cs.AI

Résumé

L'évolution de l'apprentissage automatique a de plus en plus mis l'accent sur le développement de modèles puissants et de signaux de supervision plus évolutifs. Cependant, l'émergence des modèles fondamentaux pose des défis importants pour fournir des signaux de supervision efficaces nécessaires pour améliorer davantage leurs capacités. Par conséquent, il est urgent d'explorer de nouveaux signaux de supervision et des approches techniques. Dans cet article, nous proposons l'ingénierie de vérificateurs, un nouveau paradigme de post-entraînement spécifiquement conçu pour l'ère des modèles fondamentaux. Le cœur de l'ingénierie de vérificateurs implique l'utilisation d'une suite de vérificateurs automatisés pour effectuer des tâches de vérification et fournir des retours significatifs aux modèles fondamentaux. Nous catégorisons systématiquement le processus d'ingénierie de vérificateurs en trois étapes essentielles : recherche, vérification et retour, et fournissons une revue complète des développements de recherche de pointe dans chaque étape. Nous croyons que l'ingénierie de vérificateurs constitue une voie fondamentale vers la réalisation de l'Intelligence Artificielle Générale.

English

The evolution of machine learning has increasingly prioritized the development of powerful models and more scalable supervision signals. However, the emergence of foundation models presents significant challenges in providing effective supervision signals necessary for further enhancing their capabilities. Consequently, there is an urgent need to explore novel supervision signals and technical approaches. In this paper, we propose verifier engineering, a novel post-training paradigm specifically designed for the era of foundation models. The core of verifier engineering involves leveraging a suite of automated verifiers to perform verification tasks and deliver meaningful feedback to foundation models. We systematically categorize the verifier engineering process into three essential stages: search, verify, and feedback, and provide a comprehensive review of state-of-the-art research developments within each stage. We believe that verifier engineering constitutes a fundamental pathway toward achieving Artificial General Intelligence.