InternLM-XComposer2.5-Beloning: Een Eenvoudig Maar Effectief Multi-Modaal Beloningsmodel

InternLM-XComposer2.5-Reward: A Simple Yet Effective Multi-Modal Reward Model

January 21, 2025

Auteurs: Yuhang Zang, Xiaoyi Dong, Pan Zhang, Yuhang Cao, Ziyu Liu, Shengyuan Ding, Shenxi Wu, Yubo Ma, Haodong Duan, Wenwei Zhang, Kai Chen, Dahua Lin, Jiaqi Wang

cs.AI

Samenvatting

Ondanks de veelbelovende prestaties van Grote Visie Taalmodellen (GVLM's) in visueel begrip, genereren ze af en toe onjuiste resultaten. Terwijl beloningsmodellen (BM's) met versterkend leren of schaalvergroting op testtijd het potentieel bieden om de kwaliteit van de generatie te verbeteren, blijft er een kritische kloof: publiekelijk beschikbare multimodale BM's voor GVLM's zijn schaars, en de implementatiedetails van eigen modellen zijn vaak onduidelijk. Wij overbruggen deze kloof met InternLM-XComposer2.5-Beloning (IXC-2.5-Beloning), een eenvoudig maar effectief multimodaal beloningsmodel dat GVLM's afstemt op menselijke voorkeuren. Om de robuustheid en veelzijdigheid van IXC-2.5-Beloning te waarborgen, hebben we een hoogwaardig multimodaal voorkeurscorpus opgezet dat tekst-, beeld- en video-invoer bestrijkt over diverse domeinen, zoals instructieopvolging, algemeen begrip, tekstrijke documenten, wiskundig redeneren en video begrip. IXC-2.5-Beloning behaalt uitstekende resultaten op de nieuwste multimodale beloningsmodel benchmark en toont competitieve prestaties op tekst-only beloningsmodel benchmarks. We demonstreren verder drie belangrijke toepassingen van IXC-2.5-Beloning: (1) Het bieden van een toezichtsignaal voor RL-training. We integreren IXC-2.5-Beloning met Proximale Beleidsoptimalisatie (PPO) wat IXC-2.5-Chat oplevert, dat consistente verbeteringen laat zien in instructieopvolging en multimodale open dialoog; (2) Het selecteren van de beste respons uit kandidaat-responsen voor schaalvergroting op testtijd; en (3) Het filteren van uitschieters of ruisende monsters uit bestaande beeld- en video-instructie-afstemmings-trainingsgegevens. Om reproduceerbaarheid te waarborgen en verder onderzoek te vergemakkelijken, hebben we alle modelgewichten en trainingsrecepten openbaar gemaakt op https://github.com/InternLM/InternLM-XComposer

English

Despite the promising performance of Large Vision Language Models (LVLMs) in visual understanding, they occasionally generate incorrect outputs. While reward models (RMs) with reinforcement learning or test-time scaling offer the potential for improving generation quality, a critical gap remains: publicly available multi-modal RMs for LVLMs are scarce, and the implementation details of proprietary models are often unclear. We bridge this gap with InternLM-XComposer2.5-Reward (IXC-2.5-Reward), a simple yet effective multi-modal reward model that aligns LVLMs with human preferences. To ensure the robustness and versatility of IXC-2.5-Reward, we set up a high-quality multi-modal preference corpus spanning text, image, and video inputs across diverse domains, such as instruction following, general understanding, text-rich documents, mathematical reasoning, and video understanding. IXC-2.5-Reward achieves excellent results on the latest multi-modal reward model benchmark and shows competitive performance on text-only reward model benchmarks. We further demonstrate three key applications of IXC-2.5-Reward: (1) Providing a supervisory signal for RL training. We integrate IXC-2.5-Reward with Proximal Policy Optimization (PPO) yields IXC-2.5-Chat, which shows consistent improvements in instruction following and multi-modal open-ended dialogue; (2) Selecting the best response from candidate responses for test-time scaling; and (3) Filtering outlier or noisy samples from existing image and video instruction tuning training data. To ensure reproducibility and facilitate further research, we have open-sourced all model weights and training recipes at https://github.com/InternLM/InternLM-XComposer