Verbesserung der Argumentationsfähigkeit von multimodalen großen Sprachmodellen durch gemischte Präferenzoptimierung

Enhancing the Reasoning Ability of Multimodal Large Language Models via Mixed Preference Optimization

November 15, 2024

Autoren: Weiyun Wang, Zhe Chen, Wenhai Wang, Yue Cao, Yangzhou Liu, Zhangwei Gao, Jinguo Zhu, Xizhou Zhu, Lewei Lu, Yu Qiao, Jifeng Dai

cs.AI

Zusammenfassung

Bestehende Open-Source-multimodale große Sprachmodelle (MLLMs) folgen im Allgemeinen einem Schulungsprozess, der Pre-Training und überwachtes Fine-Tuning umfasst. Diese Modelle leiden jedoch unter Verteilungsverschiebungen, die ihre multimodale Argumentation einschränken, insbesondere bei der Chain-of-Thought (CoT)-Leistung. Um dies zu lösen, führen wir einen Präferenzoptimierungs (PO)-Prozess ein, um die multimodalen Argumentationsfähigkeiten von MLLMs zu verbessern. Speziell (1) auf der Datenseite entwerfen wir eine automatisierte Präferenzdatenkonstruktionspipeline zur Erstellung von MMPR, einem qualitativ hochwertigen, groß angelegten multimodalen Argumentationspräferenzdatensatz, und (2) auf der Modellseite erforschen wir die Integration von PO mit MLLMs, indem wir eine einfache, aber effektive Methode entwickeln, genannt Mixed Preference Optimization (MPO), die die multimodale CoT-Leistung steigert. Unser Ansatz zeigt verbesserte Leistung in mehreren Benchmarks, insbesondere bei multimodalen Argumentationsaufgaben. Beachtenswert ist, dass unser Modell, InternVL2-8B-MPO, eine Genauigkeit von 67,0 bei MathVista erreicht, InternVL2-8B um 8,7 Punkte übertrifft und eine Leistung erzielt, die mit dem 10-mal größeren InternVL2-76B vergleichbar ist. Wir hoffen, dass diese Studie weitere Fortschritte bei MLLMs inspirieren könnte. Code, Daten und Modelle werden öffentlich freigegeben.

English

Existing open-source multimodal large language models (MLLMs) generally follow a training process involving pre-training and supervised fine-tuning. However, these models suffer from distribution shifts, which limit their multimodal reasoning, particularly in the Chain-of-Thought (CoT) performance. To address this, we introduce a preference optimization (PO) process to enhance the multimodal reasoning capabilities of MLLMs. Specifically, (1) on the data side, we design an automated preference data construction pipeline to create MMPR, a high-quality, large-scale multimodal reasoning preference dataset. and (2) on the model side, we explore integrating PO with MLLMs, developing a simple yet effective method, termed Mixed Preference Optimization (MPO), which boosts multimodal CoT performance. Our approach demonstrates improved performance across multiple benchmarks, particularly in multimodal reasoning tasks. Notably, our model, InternVL2-8B-MPO, achieves an accuracy of 67.0 on MathVista, outperforming InternVL2-8B by 8.7 points and achieving performance comparable to the 10x larger InternVL2-76B. We hope this study could inspire further advancements in MLLMs. Code, data, and model shall be publicly released.