M-RewardBench : Évaluation des modèles de récompense dans des environnements multilingues

M-RewardBench: Evaluating Reward Models in Multilingual Settings

October 20, 2024

Auteurs: Srishti Gureja, Lester James V. Miranda, Shayekh Bin Islam, Rishabh Maheshwary, Drishti Sharma, Gusti Winata, Nathan Lambert, Sebastian Ruder, Sara Hooker, Marzieh Fadaee

cs.AI

Résumé

Les modèles de récompense (RMs) ont permis d'améliorer les performances de pointe des LLMs aujourd'hui en permettant l'intégration des retours humains dans le processus de modélisation linguistique. Cependant, les RMs sont principalement entraînés et évalués en anglais, et leurs capacités dans des environnements multilingues restent largement sous-étudiées. Dans ce travail, nous menons une évaluation systématique de plusieurs modèles de récompense dans des environnements multilingues. Nous construisons d'abord le premier banc d'essai d'évaluation de modèles de récompense multilingues, M-RewardBench, comprenant 2,87k instances de préférence pour 23 langues typologiquement diverses, qui teste les capacités de conversation, de sécurité, de raisonnement et de traduction des RMs. Nous évaluons ensuite rigoureusement un large éventail de modèles de récompense sur M-RewardBench, offrant de nouvelles perspectives sur leurs performances à travers diverses langues. Nous identifions un écart significatif dans les performances des RMs entre l'anglais et les langues non anglaises et montrons que les préférences des RMs peuvent changer considérablement d'une langue à une autre. Nous présentons également plusieurs conclusions sur la manière dont différents aspects multilingues impactent les performances des RMs. Plus précisément, nous montrons que les performances des RMs s'améliorent avec une meilleure qualité de traduction. De même, nous démontrons que les modèles présentent de meilleures performances pour les langues à ressources élevées. Nous mettons à disposition le jeu de données M-RewardBench et la base de code de cette étude pour faciliter une meilleure compréhension de l'évaluation des RMs dans des environnements multilingues.

English

Reward models (RMs) have driven the state-of-the-art performance of LLMs today by enabling the integration of human feedback into the language modeling process. However, RMs are primarily trained and evaluated in English, and their capabilities in multilingual settings remain largely understudied. In this work, we conduct a systematic evaluation of several reward models in multilingual settings. We first construct the first-of-its-kind multilingual RM evaluation benchmark, M-RewardBench, consisting of 2.87k preference instances for 23 typologically diverse languages, that tests the chat, safety, reasoning, and translation capabilities of RMs. We then rigorously evaluate a wide range of reward models on M-RewardBench, offering fresh insights into their performance across diverse languages. We identify a significant gap in RMs' performances between English and non-English languages and show that RM preferences can change substantially from one language to another. We also present several findings on how different multilingual aspects impact RM performance. Specifically, we show that the performance of RMs is improved with improved translation quality. Similarly, we demonstrate that the models exhibit better performance for high-resource languages. We release M-RewardBench dataset and the codebase in this study to facilitate a better understanding of RM evaluation in multilingual settings.