RM-Bench : Évaluation des modèles de récompense des modèles de langage avec subtilité et style

RM-Bench: Benchmarking Reward Models of Language Models with Subtlety and Style

October 21, 2024

Auteurs: Yantao Liu, Zijun Yao, Rui Min, Yixin Cao, Lei Hou, Juanzi Li

cs.AI

Résumé

Les modèles de récompense sont essentiels dans des techniques telles que l'Apprentissage par Renforcement à partir du Feedback Humain (ARFH) et les Lois d'Échelle d'Inférence, où ils guident l'alignement des modèles de langage et sélectionnent les réponses optimales. Malgré leur importance, les benchmarks existants pour les modèles de récompense évaluent souvent les modèles en leur demandant de distinguer entre des réponses générées par des modèles de puissance variable. Cependant, cette approche échoue à évaluer les modèles de récompense sur des changements de contenu subtils mais critiques et des variations de style, ce qui se traduit par une faible corrélation avec les performances des modèles de politique. À cette fin, nous présentons RM-Bench, un nouveau benchmark conçu pour évaluer les modèles de récompense en fonction de leur sensibilité aux différences de contenu subtiles et leur résistance aux biais de style. Des expériences approfondies démontrent que RM-Bench est fortement corrélé aux performances des modèles de politique, en faisant une référence fiable pour sélectionner des modèles de récompense afin d'aligner efficacement les modèles de langage. Nous évaluons près de 40 modèles de récompense sur RM-Bench. Nos résultats révèlent que même les modèles de pointe n'atteignent qu'une performance moyenne de seulement 46,6 %, ce qui est inférieur à la précision au niveau aléatoire (50 %) lorsqu'ils sont confrontés à des interférences de biais de style. Ces résultats mettent en évidence le grand potentiel d'amélioration des modèles de récompense actuels. Le code et les données associés sont disponibles sur https://github.com/THU-KEG/RM-Bench.

English

Reward models are critical in techniques like Reinforcement Learning from Human Feedback (RLHF) and Inference Scaling Laws, where they guide language model alignment and select optimal responses. Despite their importance, existing reward model benchmarks often evaluate models by asking them to distinguish between responses generated by models of varying power. However, this approach fails to assess reward models on subtle but critical content changes and variations in style, resulting in a low correlation with policy model performance. To this end, we introduce RM-Bench, a novel benchmark designed to evaluate reward models based on their sensitivity to subtle content differences and resistance to style biases. Extensive experiments demonstrate that RM-Bench strongly correlates with policy model performance, making it a reliable reference for selecting reward models to align language models effectively. We evaluate nearly 40 reward models on RM-Bench. Our results reveal that even state-of-the-art models achieve an average performance of only 46.6%, which falls short of random-level accuracy (50%) when faced with style bias interference. These findings highlight the significant room for improvement in current reward models. Related code and data are available at https://github.com/THU-KEG/RM-Bench.