Preferenze ibride: Apprendimento per Instradare le Istanze per il Feedback Umano vs. AI

Hybrid Preferences: Learning to Route Instances for Human vs. AI Feedback

October 24, 2024

Autori: Lester James V. Miranda, Yizhong Wang, Yanai Elazar, Sachin Kumar, Valentina Pyatkin, Faeze Brahman, Noah A. Smith, Hannaneh Hajishirzi, Pradeep Dasigi

cs.AI

Abstract

L'apprendimento dal feedback umano ha permesso l'allineamento dei modelli linguistici (LM) con le preferenze umane. Tuttavia, raccogliere direttamente le preferenze umane può essere costoso, richiedere molto tempo e avere una grande varianza. Un'alternativa interessante è estrarre le preferenze dai LM come fonte di annotazioni sintetiche in quanto sono più coerenti, economiche e scalabili rispetto all'annotazione umana; tuttavia, sono anche soggette a pregiudizi ed errori. In questo lavoro, presentiamo un framework di routing che combina input da umani e LM per ottenere una migliore qualità dell'annotazione, riducendo al contempo il costo totale dell'annotazione umana. Il nocciolo del nostro approccio è identificare le istanze di preferenza che trarranno beneficio dalle annotazioni umane. Formuliamo questo problema come un problema di ottimizzazione: dato un dataset di preferenze e una metrica di valutazione, addestriamo un modello di previsione delle prestazioni per prevedere le prestazioni di un modello di ricompensa su una combinazione arbitraria di annotazioni umane e LM e utilizziamo una strategia di routing che seleziona una combinazione che massimizza le prestazioni previste. Addestriamo il modello di previsione delle prestazioni su MultiPref, un nuovo dataset di preferenze con 10K istanze abbinate a etichette umane e LM. Mostreremo che la miscela ibrida selezionata di preferenze LM e umane dirette utilizzando il nostro framework di routing ottiene una migliore performance del modello di ricompensa rispetto all'uso esclusivo di uno dei due. Simuliamo la raccolta selettiva di preferenze umane su altri tre dataset e mostriamo che il nostro metodo generalizza bene a tutti e tre. Analizziamo le caratteristiche del modello di routing per identificare le caratteristiche delle istanze che possono beneficiare del feedback umano, ad esempio, prompt con una moderata preoccupazione per la sicurezza o una moderata complessità di intento. Rilasciamo il dataset, la piattaforma di annotazione e il codice sorgente utilizzati in questo studio per favorire una raccolta di preferenze più efficiente e accurata in futuro.

English

Learning from human feedback has enabled the alignment of language models (LMs) with human preferences. However, directly collecting human preferences can be expensive, time-consuming, and can have high variance. An appealing alternative is to distill preferences from LMs as a source of synthetic annotations as they are more consistent, cheaper, and scale better than human annotation; however, they are also prone to biases and errors. In this work, we introduce a routing framework that combines inputs from humans and LMs to achieve better annotation quality, while reducing the total cost of human annotation. The crux of our approach is to identify preference instances that will benefit from human annotations. We formulate this as an optimization problem: given a preference dataset and an evaluation metric, we train a performance prediction model to predict a reward model's performance on an arbitrary combination of human and LM annotations and employ a routing strategy that selects a combination that maximizes predicted performance. We train the performance prediction model on MultiPref, a new preference dataset with 10K instances paired with human and LM labels. We show that the selected hybrid mixture of LM and direct human preferences using our routing framework achieves better reward model performance compared to using either one exclusively. We simulate selective human preference collection on three other datasets and show that our method generalizes well to all three. We analyze features from the routing model to identify characteristics of instances that can benefit from human feedback, e.g., prompts with a moderate safety concern or moderate intent complexity. We release the dataset, annotation platform, and source code used in this study to foster more efficient and accurate preference collection in the future.