Selbstkonsistenzpräferenzoptimierung

Self-Consistency Preference Optimization

November 6, 2024

Autoren: Archiki Prasad, Weizhe Yuan, Richard Yuanzhe Pang, Jing Xu, Maryam Fazel-Zarandi, Mohit Bansal, Sainbayar Sukhbaatar, Jason Weston, Jane Yu

cs.AI

Zusammenfassung

Die Selbstausrichtung, bei der Modelle lernen, sich ohne menschliche Annotation zu verbessern, ist ein stark wachsender Forschungsbereich. Allerdings scheitern bestehende Techniken oft daran, komplexe Schlussfolgerungsaufgaben zu verbessern, aufgrund der Schwierigkeit, korrekte Belohnungen zuzuweisen. Ein orthogonaler Ansatz, der bekannt ist, um die Korrektheit zu verbessern, ist die Selbstkonsistenz, eine Methode, die zur Inferenzzeit basierend auf mehrfachem Sampling angewendet wird, um die konsistenteste Antwort zu finden. In dieser Arbeit erweitern wir das Konzept der Selbstkonsistenz, um Modelle zu trainieren. Wir führen daher die Selbstkonsistenz-Präferenzoptimierung (ScPO) ein, die iterativ darauf abzielt, konsistente Antworten auf unüberwachte neue Probleme gegenüber inkonsistenten Antworten zu bevorzugen. Wir zeigen, dass ScPO zu erheblichen Verbesserungen gegenüber der herkömmlichen Belohnungsmodell-Trainingsmethode bei Schlussfolgerungsaufgaben wie GSM8K und MATH führt, wodurch der Abstand zur überwachten Schulung mit Goldantworten oder Präferenzen verringert wird, und dass die Kombination von ScPO mit dem standardmäßigen überwachten Lernen die Ergebnisse noch weiter verbessert. Bei ZebraLogic feinabgestimmt ScPO Llama-3 8B überlegen gegenüber Llama-3 70B, Gemma-2 27B und Claude-3 Haiku.

English

Self-alignment, whereby models learn to improve themselves without human annotation, is a rapidly growing research area. However, existing techniques often fail to improve complex reasoning tasks due to the difficulty of assigning correct rewards. An orthogonal approach that is known to improve correctness is self-consistency, a method applied at inference time based on multiple sampling in order to find the most consistent answer. In this work, we extend the self-consistency concept to help train models. We thus introduce self-consistency preference optimization (ScPO), which iteratively trains consistent answers to be preferred over inconsistent ones on unsupervised new problems. We show ScPO leads to large improvements over conventional reward model training on reasoning tasks such as GSM8K and MATH, closing the gap with supervised training with gold answers or preferences, and that combining ScPO with standard supervised learning improves results even further. On ZebraLogic, ScPO finetunes Llama-3 8B to be superior to Llama-3 70B, Gemma-2 27B, and Claude-3 Haiku.