Hybride Voorkeuren: Leren om Instanties te Routeren voor Menselijke vs. AI Feedback

Hybrid Preferences: Learning to Route Instances for Human vs. AI Feedback

October 24, 2024

Auteurs: Lester James V. Miranda, Yizhong Wang, Yanai Elazar, Sachin Kumar, Valentina Pyatkin, Faeze Brahman, Noah A. Smith, Hannaneh Hajishirzi, Pradeep Dasigi

cs.AI

Samenvatting

Het leren van menselijke feedback heeft de afstemming van taalmodellen (LM's) op menselijke voorkeuren mogelijk gemaakt. Direct menselijke voorkeuren verzamelen kan echter duur, tijdrovend en variabel zijn. Een aantrekkelijk alternatief is om voorkeuren te destilleren uit LM's als een bron van synthetische annotaties, omdat deze consistenter, goedkoper en schaalbaarder zijn dan menselijke annotaties; echter zijn ze ook vatbaar voor vooroordelen en fouten. In dit werk introduceren we een routeringsframework dat inputs van mensen en LM's combineert om een betere annotatiekwaliteit te bereiken, terwijl de totale kosten van menselijke annotatie worden verlaagd. De kern van onze aanpak is het identificeren van voorkeursinstanties die baat zullen hebben bij menselijke annotaties. We formuleren dit als een optimalisatieprobleem: gegeven een voorkeursdataset en een evaluatiemaatstaf, trainen we een prestatievoorspellingsmodel om de prestatie van een beloningsmodel te voorspellen op een willekeurige combinatie van menselijke en LM-annotaties en passen we een routeringsstrategie toe die een combinatie selecteert die de voorspelde prestatie maximaliseert. We trainen het prestatievoorspellingsmodel op MultiPref, een nieuwe voorkeursdataset met 10K instanties gekoppeld aan menselijke en LM-labels. We tonen aan dat de geselecteerde hybride mix van LM- en directe menselijke voorkeuren met behulp van ons routeringsframework een betere prestatie van het beloningsmodel behaalt in vergelijking met het exclusief gebruik van elk van beide. We simuleren selectieve menselijke voorkeursverzameling op drie andere datasets en tonen aan dat onze methode goed generaliseert naar alle drie. We analyseren kenmerken van het routeringsmodel om eigenschappen van instanties te identificeren die baat kunnen hebben bij menselijke feedback, bijvoorbeeld prompts met een matige veiligheidszorg of matige intentiecomplexiteit. We stellen de dataset, annotatieplatform en broncode die in dit onderzoek zijn gebruikt beschikbaar om efficiëntere en nauwkeurigere voorkeursverzameling in de toekomst te bevorderen.

English

Learning from human feedback has enabled the alignment of language models (LMs) with human preferences. However, directly collecting human preferences can be expensive, time-consuming, and can have high variance. An appealing alternative is to distill preferences from LMs as a source of synthetic annotations as they are more consistent, cheaper, and scale better than human annotation; however, they are also prone to biases and errors. In this work, we introduce a routing framework that combines inputs from humans and LMs to achieve better annotation quality, while reducing the total cost of human annotation. The crux of our approach is to identify preference instances that will benefit from human annotations. We formulate this as an optimization problem: given a preference dataset and an evaluation metric, we train a performance prediction model to predict a reward model's performance on an arbitrary combination of human and LM annotations and employ a routing strategy that selects a combination that maximizes predicted performance. We train the performance prediction model on MultiPref, a new preference dataset with 10K instances paired with human and LM labels. We show that the selected hybrid mixture of LM and direct human preferences using our routing framework achieves better reward model performance compared to using either one exclusively. We simulate selective human preference collection on three other datasets and show that our method generalizes well to all three. We analyze features from the routing model to identify characteristics of instances that can benefit from human feedback, e.g., prompts with a moderate safety concern or moderate intent complexity. We release the dataset, annotation platform, and source code used in this study to foster more efficient and accurate preference collection in the future.