M-RewardBench: Het evalueren van beloningsmodellen in meertalige omgevingen

M-RewardBench: Evaluating Reward Models in Multilingual Settings

October 20, 2024

Auteurs: Srishti Gureja, Lester James V. Miranda, Shayekh Bin Islam, Rishabh Maheshwary, Drishti Sharma, Gusti Winata, Nathan Lambert, Sebastian Ruder, Sara Hooker, Marzieh Fadaee

cs.AI

Samenvatting

Beloningsmodellen (RMs) hebben vandaag de dag de state-of-the-art prestaties van LLMs aangedreven door de integratie van menselijke feedback in het taalmodelleringsproces mogelijk te maken. Echter, RMs worden voornamelijk getraind en geëvalueerd in het Engels, en hun mogelijkheden in meertalige omgevingen blijven grotendeels onderbelicht. In dit werk voeren we een systematische evaluatie uit van verschillende beloningsmodellen in meertalige omgevingen. We construeren eerst de eerste multilinguale RM-evaluatiebenchmark, M-RewardBench genaamd, bestaande uit 2,87k voorkeursinstanties voor 23 typologisch diverse talen, die de chat-, veiligheids-, redeneer- en vertaalcapaciteiten van RMs test. Vervolgens evalueren we grondig een breed scala aan beloningsmodellen op M-RewardBench, waarbij we nieuwe inzichten bieden in hun prestaties over diverse talen heen. We identificeren een significant verschil in de prestaties van RMs tussen het Engels en niet-Engelse talen, en tonen aan dat de voorkeuren van RMs aanzienlijk kunnen veranderen van de ene taal naar de andere. We presenteren ook verschillende bevindingen over hoe verschillende meertalige aspecten de prestaties van RMs beïnvloeden. Specifiek tonen we aan dat de prestaties van RMs verbeteren met een betere vertaalkwaliteit. Op dezelfde manier tonen we aan dat de modellen betere prestaties vertonen voor talen met veel bronnen. We stellen het M-RewardBench-dataset en de codebase in dit onderzoek beschikbaar om een beter begrip van de RM-evaluatie in meertalige omgevingen te vergemakkelijken.

English

Reward models (RMs) have driven the state-of-the-art performance of LLMs today by enabling the integration of human feedback into the language modeling process. However, RMs are primarily trained and evaluated in English, and their capabilities in multilingual settings remain largely understudied. In this work, we conduct a systematic evaluation of several reward models in multilingual settings. We first construct the first-of-its-kind multilingual RM evaluation benchmark, M-RewardBench, consisting of 2.87k preference instances for 23 typologically diverse languages, that tests the chat, safety, reasoning, and translation capabilities of RMs. We then rigorously evaluate a wide range of reward models on M-RewardBench, offering fresh insights into their performance across diverse languages. We identify a significant gap in RMs' performances between English and non-English languages and show that RM preferences can change substantially from one language to another. We also present several findings on how different multilingual aspects impact RM performance. Specifically, we show that the performance of RMs is improved with improved translation quality. Similarly, we demonstrate that the models exhibit better performance for high-resource languages. We release M-RewardBench dataset and the codebase in this study to facilitate a better understanding of RM evaluation in multilingual settings.