Préférences hybrides : Apprendre à router les instances pour le feedback humain vs IA

Hybrid Preferences: Learning to Route Instances for Human vs. AI Feedback

October 24, 2024

Auteurs: Lester James V. Miranda, Yizhong Wang, Yanai Elazar, Sachin Kumar, Valentina Pyatkin, Faeze Brahman, Noah A. Smith, Hannaneh Hajishirzi, Pradeep Dasigi

cs.AI

Résumé

Apprendre à partir des retours humains a permis l'alignement des modèles de langage (LM) avec les préférences humaines. Cependant, collecter directement les préférences humaines peut être coûteux, chronophage et présenter une forte variance. Une alternative attrayante est de distiller les préférences des LM en tant que source d'annotations synthétiques car elles sont plus cohérentes, moins chères et plus évolutives que les annotations humaines ; cependant, elles sont également sujettes aux biais et aux erreurs. Dans ce travail, nous introduisons un cadre de routage qui combine les entrées des humains et des LM pour obtenir une meilleure qualité d'annotation, tout en réduisant le coût total de l'annotation humaine. L'essence de notre approche est d'identifier les instances de préférence qui bénéficieront des annotations humaines. Nous formulons cela comme un problème d'optimisation : étant donné un ensemble de données de préférences et une métrique d'évaluation, nous entraînons un modèle de prédiction des performances pour prédire les performances d'un modèle de récompense sur une combinaison arbitraire d'annotations humaines et de LM, et utilisons une stratégie de routage qui sélectionne une combinaison maximisant les performances prédites. Nous entraînons le modèle de prédiction des performances sur MultiPref, un nouvel ensemble de données de préférences avec 10 000 instances associées à des étiquettes humaines et LM. Nous montrons que le mélange hybride sélectionné de préférences LM et humaines directes à l'aide de notre cadre de routage obtient de meilleures performances du modèle de récompense par rapport à l'utilisation exclusive de l'un ou de l'autre. Nous simulons la collecte sélective de préférences humaines sur trois autres ensembles de données et montrons que notre méthode généralise bien à tous les trois. Nous analysons les caractéristiques du modèle de routage pour identifier les instances qui peuvent bénéficier des retours humains, par exemple, les invites avec un niveau de préoccupation modéré en termes de sécurité ou une complexité d'intention modérée. Nous mettons à disposition l'ensemble de données, la plateforme d'annotation et le code source utilisés dans cette étude pour favoriser une collecte de préférences plus efficace et précise à l'avenir.

English

Learning from human feedback has enabled the alignment of language models (LMs) with human preferences. However, directly collecting human preferences can be expensive, time-consuming, and can have high variance. An appealing alternative is to distill preferences from LMs as a source of synthetic annotations as they are more consistent, cheaper, and scale better than human annotation; however, they are also prone to biases and errors. In this work, we introduce a routing framework that combines inputs from humans and LMs to achieve better annotation quality, while reducing the total cost of human annotation. The crux of our approach is to identify preference instances that will benefit from human annotations. We formulate this as an optimization problem: given a preference dataset and an evaluation metric, we train a performance prediction model to predict a reward model's performance on an arbitrary combination of human and LM annotations and employ a routing strategy that selects a combination that maximizes predicted performance. We train the performance prediction model on MultiPref, a new preference dataset with 10K instances paired with human and LM labels. We show that the selected hybrid mixture of LM and direct human preferences using our routing framework achieves better reward model performance compared to using either one exclusively. We simulate selective human preference collection on three other datasets and show that our method generalizes well to all three. We analyze features from the routing model to identify characteristics of instances that can benefit from human feedback, e.g., prompts with a moderate safety concern or moderate intent complexity. We release the dataset, annotation platform, and source code used in this study to foster more efficient and accurate preference collection in the future.