Ricerca, Verifica e Feedback: Verso la Prossima Generazione del Paradigma Post-training dei Modelli Fondamentali Attraverso l'Ingegneria del Verificatore
Search, Verify and Feedback: Towards Next Generation Post-training Paradigm of Foundation Models via Verifier Engineering
November 18, 2024
Autori: Xinyan Guan, Yanjiang Liu, Xinyu Lu, Boxi Cao, Ben He, Xianpei Han, Le Sun, Jie Lou, Bowen Yu, Yaojie Lu, Hongyu Lin
cs.AI
Abstract
L'evoluzione dell'apprendimento automatico ha sempre più prioritizzato lo sviluppo di modelli potenti e di segnali di supervisione più scalabili. Tuttavia, l'emergere dei modelli fondamentali presenta significativi ostacoli nel fornire segnali di supervisione efficaci necessari per potenziarne ulteriormente le capacità. Di conseguenza, c'è un urgente bisogno di esplorare nuovi segnali di supervisione e approcci tecnici. In questo articolo, proponiamo l'ingegneria del verificatore, un nuovo paradigma post-addestramento specificamente progettato per l'era dei modelli fondamentali. Il nucleo dell'ingegneria del verificatore coinvolge l'utilizzo di una serie di verificatori automatizzati per svolgere compiti di verifica e fornire feedback significativo ai modelli fondamentali. Categorizziamo sistematicamente il processo di ingegneria del verificatore in tre fasi essenziali: ricerca, verifica e feedback, e forniamo una revisione completa degli sviluppi della ricerca all'avanguardia all'interno di ciascuna fase. Riteniamo che l'ingegneria del verificatore costituisca un percorso fondamentale verso il raggiungimento dell'Intelligenza Artificiale Generale.
English
The evolution of machine learning has increasingly prioritized the
development of powerful models and more scalable supervision signals. However,
the emergence of foundation models presents significant challenges in providing
effective supervision signals necessary for further enhancing their
capabilities. Consequently, there is an urgent need to explore novel
supervision signals and technical approaches. In this paper, we propose
verifier engineering, a novel post-training paradigm specifically designed for
the era of foundation models. The core of verifier engineering involves
leveraging a suite of automated verifiers to perform verification tasks and
deliver meaningful feedback to foundation models. We systematically categorize
the verifier engineering process into three essential stages: search, verify,
and feedback, and provide a comprehensive review of state-of-the-art research
developments within each stage. We believe that verifier engineering
constitutes a fundamental pathway toward achieving Artificial General
Intelligence.Summary
AI-Generated Summary