M-RewardBench: Evaluierung von Belohnungsmodellen in mehrsprachigen Umgebungen

M-RewardBench: Evaluating Reward Models in Multilingual Settings

October 20, 2024

Autoren: Srishti Gureja, Lester James V. Miranda, Shayekh Bin Islam, Rishabh Maheshwary, Drishti Sharma, Gusti Winata, Nathan Lambert, Sebastian Ruder, Sara Hooker, Marzieh Fadaee

cs.AI

Zusammenfassung

Belohnungsmodelle (RMs) haben heute die Leistungsfähigkeit von LLMs auf dem neuesten Stand der Technik vorangetrieben, indem sie die Integration von menschlichem Feedback in den Sprachmodellierungsprozess ermöglichen. Allerdings werden RMs hauptsächlich in Englisch trainiert und bewertet, und ihre Fähigkeiten in mehrsprachigen Umgebungen bleiben weitgehend unerforscht. In dieser Arbeit führen wir eine systematische Bewertung mehrerer Belohnungsmodelle in mehrsprachigen Umgebungen durch. Zunächst erstellen wir den erstmaligen mehrsprachigen RM-Bewertungsbenchmark, M-RewardBench, bestehend aus 2,87k Präferenzinstanzen für 23 typologisch diverse Sprachen, der die Chat-, Sicherheits-, Argumentations- und Übersetzungsfähigkeiten von RMs testet. Anschließend bewerten wir eine Vielzahl von Belohnungsmodellen auf M-RewardBench, um frische Einblicke in ihre Leistungsfähigkeit in verschiedenen Sprachen zu bieten. Wir identifizieren eine signifikante Kluft in der Leistung von RMs zwischen Englisch und nicht-englischen Sprachen und zeigen, dass sich RM-Präferenzen von einer Sprache zur anderen erheblich ändern können. Wir präsentieren auch mehrere Erkenntnisse darüber, wie verschiedene mehrsprachige Aspekte die Leistung von RMs beeinflussen. Insbesondere zeigen wir, dass die Leistung von RMs mit verbesserter Übersetzungsqualität steigt. Ebenso zeigen wir, dass die Modelle eine bessere Leistung für Sprachen mit vielen Ressourcen aufweisen. Wir veröffentlichen den M-RewardBench-Datensatz und die Codebasis dieser Studie, um ein besseres Verständnis der RM-Bewertung in mehrsprachigen Umgebungen zu erleichtern.

English

Reward models (RMs) have driven the state-of-the-art performance of LLMs today by enabling the integration of human feedback into the language modeling process. However, RMs are primarily trained and evaluated in English, and their capabilities in multilingual settings remain largely understudied. In this work, we conduct a systematic evaluation of several reward models in multilingual settings. We first construct the first-of-its-kind multilingual RM evaluation benchmark, M-RewardBench, consisting of 2.87k preference instances for 23 typologically diverse languages, that tests the chat, safety, reasoning, and translation capabilities of RMs. We then rigorously evaluate a wide range of reward models on M-RewardBench, offering fresh insights into their performance across diverse languages. We identify a significant gap in RMs' performances between English and non-English languages and show that RM preferences can change substantially from one language to another. We also present several findings on how different multilingual aspects impact RM performance. Specifically, we show that the performance of RMs is improved with improved translation quality. Similarly, we demonstrate that the models exhibit better performance for high-resource languages. We release M-RewardBench dataset and the codebase in this study to facilitate a better understanding of RM evaluation in multilingual settings.