Suche, Überprüfung und Rückmeldung: Auf dem Weg zum Post-Training der nächsten Generation Paradigma von Grundlagenmodellen durch Verifikator-Engineering

Search, Verify and Feedback: Towards Next Generation Post-training Paradigm of Foundation Models via Verifier Engineering

November 18, 2024

Autoren: Xinyan Guan, Yanjiang Liu, Xinyu Lu, Boxi Cao, Ben He, Xianpei Han, Le Sun, Jie Lou, Bowen Yu, Yaojie Lu, Hongyu Lin

cs.AI

Zusammenfassung

Die Evolution des maschinellen Lernens hat zunehmend die Entwicklung leistungsstarker Modelle und skalierbarerer Überwachungssignale priorisiert. Allerdings stellen die Entstehung von Grundlagenmodellen bedeutende Herausforderungen bei der Bereitstellung effektiver Überwachungssignale dar, die für die weitere Verbesserung ihrer Fähigkeiten erforderlich sind. Folglich besteht ein dringender Bedarf, neuartige Überwachungssignale und technische Ansätze zu erforschen. In diesem Beitrag schlagen wir Verifikations-Engineering vor, ein neuartiges Paradigma nach dem Training, das speziell für das Zeitalter der Grundlagenmodelle entwickelt wurde. Der Kern des Verifikations-Engineerings besteht darin, eine Reihe von automatisierten Verifikatoren einzusetzen, um Verifizierungsaufgaben durchzuführen und aussagekräftiges Feedback an Grundlagenmodelle zu liefern. Wir kategorisieren den Prozess des Verifikations-Engineerings systematisch in drei wesentliche Phasen: Suche, Verifizierung und Feedback, und bieten eine umfassende Übersicht über die neuesten Forschungsentwicklungen in jeder Phase. Wir sind der Überzeugung, dass das Verifikations-Engineering einen grundlegenden Weg zur Erreichung künstlicher allgemeiner Intelligenz darstellt.

English

The evolution of machine learning has increasingly prioritized the development of powerful models and more scalable supervision signals. However, the emergence of foundation models presents significant challenges in providing effective supervision signals necessary for further enhancing their capabilities. Consequently, there is an urgent need to explore novel supervision signals and technical approaches. In this paper, we propose verifier engineering, a novel post-training paradigm specifically designed for the era of foundation models. The core of verifier engineering involves leveraging a suite of automated verifiers to perform verification tasks and deliver meaningful feedback to foundation models. We systematically categorize the verifier engineering process into three essential stages: search, verify, and feedback, and provide a comprehensive review of state-of-the-art research developments within each stage. We believe that verifier engineering constitutes a fundamental pathway toward achieving Artificial General Intelligence.