RM-Bench: Benchmarken van Beloningsmodellen van Taalmodellen met Subtiliteit en Stijl

RM-Bench: Benchmarking Reward Models of Language Models with Subtlety and Style

October 21, 2024

Auteurs: Yantao Liu, Zijun Yao, Rui Min, Yixin Cao, Lei Hou, Juanzi Li

cs.AI

Samenvatting

Beloningsmodellen zijn cruciaal in technieken zoals Versterkend Leren van Menselijke Feedback (RLHF) en Inferentieschaalwetten, waar ze de uitlijning van taalmodellen sturen en optimale reacties selecteren. Ondanks hun belang, beoordelen bestaande beloningsmodelbenchmarks modellen vaak door ze te vragen onderscheid te maken tussen reacties gegenereerd door modellen van verschillende kracht. Deze aanpak slaagt er echter niet in om beloningsmodellen te beoordelen op subtiele maar cruciale inhoudsveranderingen en variaties in stijl, wat resulteert in een lage correlatie met de prestaties van beleidsmodellen. Daartoe introduceren we RM-Bench, een nieuw benchmark ontworpen om beloningsmodellen te evalueren op basis van hun gevoeligheid voor subtiele inhoudsverschillen en weerstand tegen stijlvooroordelen. Uitgebreide experimenten tonen aan dat RM-Bench sterk correleert met de prestaties van beleidsmodellen, waardoor het een betrouwbare referentie is voor het selecteren van beloningsmodellen om taalmodellen effectief uit te lijnen. We evalueren bijna 40 beloningsmodellen op RM-Bench. Onze resultaten tonen aan dat zelfs state-of-the-art modellen slechts een gemiddelde prestatie van 46,6% behalen, wat lager is dan de willekeurige nauwkeurigheid (50%) wanneer ze te maken krijgen met stijlvooroordeelinterferentie. Deze bevindingen benadrukken de aanzienlijke ruimte voor verbetering in de huidige beloningsmodellen. Gerelateerde code en gegevens zijn beschikbaar op https://github.com/THU-KEG/RM-Bench.

English

Reward models are critical in techniques like Reinforcement Learning from Human Feedback (RLHF) and Inference Scaling Laws, where they guide language model alignment and select optimal responses. Despite their importance, existing reward model benchmarks often evaluate models by asking them to distinguish between responses generated by models of varying power. However, this approach fails to assess reward models on subtle but critical content changes and variations in style, resulting in a low correlation with policy model performance. To this end, we introduce RM-Bench, a novel benchmark designed to evaluate reward models based on their sensitivity to subtle content differences and resistance to style biases. Extensive experiments demonstrate that RM-Bench strongly correlates with policy model performance, making it a reliable reference for selecting reward models to align language models effectively. We evaluate nearly 40 reward models on RM-Bench. Our results reveal that even state-of-the-art models achieve an average performance of only 46.6%, which falls short of random-level accuracy (50%) when faced with style bias interference. These findings highlight the significant room for improvement in current reward models. Related code and data are available at https://github.com/THU-KEG/RM-Bench.