InternLM-XComposer2.5-Belohnung: Ein einfaches, aber effektives Multi-Modal Belohnungsmodell

InternLM-XComposer2.5-Reward: A Simple Yet Effective Multi-Modal Reward Model

January 21, 2025

Autoren: Yuhang Zang, Xiaoyi Dong, Pan Zhang, Yuhang Cao, Ziyu Liu, Shengyuan Ding, Shenxi Wu, Yubo Ma, Haodong Duan, Wenwei Zhang, Kai Chen, Dahua Lin, Jiaqi Wang

cs.AI

Zusammenfassung

Trotz der vielversprechenden Leistung von Large Vision Language Models (LVLMs) bei der visuellen Verarbeitung erzeugen sie gelegentlich inkorrekte Ausgaben. Während Belohnungsmodelle (RMs) mit Verstärkungslernen oder Skalierung zur Testzeit das Potenzial zur Verbesserung der Generierungsqualität bieten, besteht eine entscheidende Lücke: öffentlich verfügbare multimodale RMs für LVLMs sind selten, und die Implementierungsdetails proprietärer Modelle sind oft unklar. Wir schließen diese Lücke mit InternLM-XComposer2.5-Reward (IXC-2.5-Reward), einem einfachen, aber effektiven multimodalen Belohnungsmodell, das LVLMs mit menschlichen Präferenzen in Einklang bringt. Um die Robustheit und Vielseitigkeit von IXC-2.5-Reward sicherzustellen, haben wir einen hochwertigen multimodalen Präferenzkorpus eingerichtet, der Text-, Bild- und Videoeingaben in verschiedenen Bereichen abdeckt, wie z. B. Anweisungsverfolgung, allgemeines Verständnis, textreiche Dokumente, mathematisches Denken und Videoverständnis. IXC-2.5-Reward erzielt ausgezeichnete Ergebnisse im neuesten Benchmark für multimodale Belohnungsmodelle und zeigt eine wettbewerbsfähige Leistung in Benchmarks für ausschließlich textbasierte Belohnungsmodelle. Wir zeigen außerdem drei Schlüsselanwendungen von IXC-2.5-Reward: (1) Bereitstellung eines Aufsichtssignals für das RL-Training. Wir integrieren IXC-2.5-Reward mit Proximal Policy Optimization (PPO) und erhalten IXC-2.5-Chat, der konsistente Verbesserungen bei der Anweisungsverfolgung und im multimodalen offenen Dialog zeigt; (2) Auswahl der besten Antwort aus Kandidatenantworten für die Skalierung zur Testzeit; und (3) Filterung von Ausreißern oder störenden Proben aus vorhandenen Bilddaten und Videodaten für das Anpassungstraining. Um die Reproduzierbarkeit sicherzustellen und weitere Forschung zu erleichtern, haben wir alle Modellgewichte und Trainingsrezepte unter https://github.com/InternLM/InternLM-XComposer Open Source gestellt.

English

Despite the promising performance of Large Vision Language Models (LVLMs) in visual understanding, they occasionally generate incorrect outputs. While reward models (RMs) with reinforcement learning or test-time scaling offer the potential for improving generation quality, a critical gap remains: publicly available multi-modal RMs for LVLMs are scarce, and the implementation details of proprietary models are often unclear. We bridge this gap with InternLM-XComposer2.5-Reward (IXC-2.5-Reward), a simple yet effective multi-modal reward model that aligns LVLMs with human preferences. To ensure the robustness and versatility of IXC-2.5-Reward, we set up a high-quality multi-modal preference corpus spanning text, image, and video inputs across diverse domains, such as instruction following, general understanding, text-rich documents, mathematical reasoning, and video understanding. IXC-2.5-Reward achieves excellent results on the latest multi-modal reward model benchmark and shows competitive performance on text-only reward model benchmarks. We further demonstrate three key applications of IXC-2.5-Reward: (1) Providing a supervisory signal for RL training. We integrate IXC-2.5-Reward with Proximal Policy Optimization (PPO) yields IXC-2.5-Chat, which shows consistent improvements in instruction following and multi-modal open-ended dialogue; (2) Selecting the best response from candidate responses for test-time scaling; and (3) Filtering outlier or noisy samples from existing image and video instruction tuning training data. To ensure reproducibility and facilitate further research, we have open-sourced all model weights and training recipes at https://github.com/InternLM/InternLM-XComposer