Skywork-Reward: Sacchetto di Trucchi per la Modellizzazione del Premio in LLM

Abstract

In questo rapporto, presentiamo una serie di metodi per migliorare la modellazione del reward per LLMs, concentrandoci specificamente sulle tecniche incentrate sui dati. Proponiamo efficaci strategie di selezione e filtraggio dei dati per la cura di dataset di preferenze open-source di alta qualità, culminando nella raccolta dati Skywork-Reward, che contiene solo 80K coppie di preferenze - significativamente più piccolo rispetto ai dataset esistenti. Utilizzando questo dataset curato, abbiamo sviluppato la serie di modelli Skywork-Reward - Skywork-Reward-Gemma-27B e Skywork-Reward-Llama-3.1-8B - con il primo attualmente in cima alla classifica di RewardBench. In particolare, le nostre tecniche e dataset hanno migliorato direttamente le prestazioni di molti modelli classificati in alto su RewardBench, evidenziando l'impatto pratico dei nostri contributi nelle applicazioni di apprendimento delle preferenze nel mondo reale.

English

In this report, we introduce a collection of methods to enhance reward modeling for LLMs, focusing specifically on data-centric techniques. We propose effective data selection and filtering strategies for curating high-quality open-source preference datasets, culminating in the Skywork-Reward data collection, which contains only 80K preference pairs -- significantly smaller than existing datasets. Using this curated dataset, we developed the Skywork-Reward model series -- Skywork-Reward-Gemma-27B and Skywork-Reward-Llama-3.1-8B -- with the former currently holding the top position on the RewardBench leaderboard. Notably, our techniques and datasets have directly enhanced the performance of many top-ranked models on RewardBench, highlighting the practical impact of our contributions in real-world preference learning applications.

Skywork-Reward: Sacchetto di Trucchi per la Modellizzazione del Premio in LLM

Skywork-Reward: Bag of Tricks for Reward Modeling in LLMs

Abstract

Summary

Support