Optimisation de la Préférence de l'Auto-Consistance

Self-Consistency Preference Optimization

November 6, 2024

Auteurs: Archiki Prasad, Weizhe Yuan, Richard Yuanzhe Pang, Jing Xu, Maryam Fazel-Zarandi, Mohit Bansal, Sainbayar Sukhbaatar, Jason Weston, Jane Yu

cs.AI

Résumé

L'auto-alignement, par lequel les modèles apprennent à s'améliorer sans annotation humaine, est un domaine de recherche en pleine expansion. Cependant, les techniques existantes échouent souvent à améliorer les tâches de raisonnement complexe en raison de la difficulté d'attribuer des récompenses correctes. Une approche orthogonale connue pour améliorer la justesse est l'auto-consistance, une méthode appliquée au moment de l'inférence basée sur de multiples échantillonnages afin de trouver la réponse la plus cohérente. Dans ce travail, nous étendons le concept d'auto-consistance pour aider à entraîner les modèles. Nous introduisons ainsi l'optimisation des préférences d'auto-consistance (ScPO), qui entraîne de manière itérative des réponses cohérentes à être préférées aux réponses incohérentes sur de nouveaux problèmes non supervisés. Nous montrons que ScPO entraîne de grandes améliorations par rapport à l'entraînement de modèles de récompense conventionnels sur des tâches de raisonnement telles que GSM8K et MATH, comblant l'écart avec l'entraînement supervisé avec des réponses ou des préférences de référence, et que la combinaison de ScPO avec l'apprentissage supervisé standard améliore encore davantage les résultats. Sur ZebraLogic, ScPO affine Llama-3 8B pour être supérieur à Llama-3 70B, Gemma-2 27B et Claude-3 Haiku.

English

Self-alignment, whereby models learn to improve themselves without human annotation, is a rapidly growing research area. However, existing techniques often fail to improve complex reasoning tasks due to the difficulty of assigning correct rewards. An orthogonal approach that is known to improve correctness is self-consistency, a method applied at inference time based on multiple sampling in order to find the most consistent answer. In this work, we extend the self-consistency concept to help train models. We thus introduce self-consistency preference optimization (ScPO), which iteratively trains consistent answers to be preferred over inconsistent ones on unsupervised new problems. We show ScPO leads to large improvements over conventional reward model training on reasoning tasks such as GSM8K and MATH, closing the gap with supervised training with gold answers or preferences, and that combining ScPO with standard supervised learning improves results even further. On ZebraLogic, ScPO finetunes Llama-3 8B to be superior to Llama-3 70B, Gemma-2 27B, and Claude-3 Haiku.