Ricerca, Verifica e Feedback: Verso la Prossima Generazione del Paradigma Post-training dei Modelli Fondamentali Attraverso l'Ingegneria del Verificatore

Search, Verify and Feedback: Towards Next Generation Post-training Paradigm of Foundation Models via Verifier Engineering

November 18, 2024
Autori: Xinyan Guan, Yanjiang Liu, Xinyu Lu, Boxi Cao, Ben He, Xianpei Han, Le Sun, Jie Lou, Bowen Yu, Yaojie Lu, Hongyu Lin
cs.AI

Abstract

L'evoluzione dell'apprendimento automatico ha sempre più prioritizzato lo sviluppo di modelli potenti e di segnali di supervisione più scalabili. Tuttavia, l'emergere dei modelli fondamentali presenta significativi ostacoli nel fornire segnali di supervisione efficaci necessari per potenziarne ulteriormente le capacità. Di conseguenza, c'è un urgente bisogno di esplorare nuovi segnali di supervisione e approcci tecnici. In questo articolo, proponiamo l'ingegneria del verificatore, un nuovo paradigma post-addestramento specificamente progettato per l'era dei modelli fondamentali. Il nucleo dell'ingegneria del verificatore coinvolge l'utilizzo di una serie di verificatori automatizzati per svolgere compiti di verifica e fornire feedback significativo ai modelli fondamentali. Categorizziamo sistematicamente il processo di ingegneria del verificatore in tre fasi essenziali: ricerca, verifica e feedback, e forniamo una revisione completa degli sviluppi della ricerca all'avanguardia all'interno di ciascuna fase. Riteniamo che l'ingegneria del verificatore costituisca un percorso fondamentale verso il raggiungimento dell'Intelligenza Artificiale Generale.
English
The evolution of machine learning has increasingly prioritized the development of powerful models and more scalable supervision signals. However, the emergence of foundation models presents significant challenges in providing effective supervision signals necessary for further enhancing their capabilities. Consequently, there is an urgent need to explore novel supervision signals and technical approaches. In this paper, we propose verifier engineering, a novel post-training paradigm specifically designed for the era of foundation models. The core of verifier engineering involves leveraging a suite of automated verifiers to perform verification tasks and deliver meaningful feedback to foundation models. We systematically categorize the verifier engineering process into three essential stages: search, verify, and feedback, and provide a comprehensive review of state-of-the-art research developments within each stage. We believe that verifier engineering constitutes a fundamental pathway toward achieving Artificial General Intelligence.

Summary

AI-Generated Summary

PDF172November 19, 2024