Het verbeteren van het redeneervermogen van multimodale grote taalmodellen via gemengde voorkeursoptimalisatie.

Enhancing the Reasoning Ability of Multimodal Large Language Models via Mixed Preference Optimization

November 15, 2024

Auteurs: Weiyun Wang, Zhe Chen, Wenhai Wang, Yue Cao, Yangzhou Liu, Zhangwei Gao, Jinguo Zhu, Xizhou Zhu, Lewei Lu, Yu Qiao, Jifeng Dai

cs.AI

Samenvatting

Bestaande open-source multimodale grote taalmodellen (MLLM's) volgen over het algemeen een trainingsproces dat pre-training en begeleid fijnafstemmen omvat. Deze modellen hebben echter last van distributieverschuivingen, die hun multimodale redenering beperken, met name in de Chain-of-Thought (CoT) prestaties. Om dit aan te pakken, introduceren we een voorkeur optimalisatie (PO) proces om de multimodale redeneervaardigheden van MLLM's te verbeteren. Specifiek (1) aan de datagebruikskant ontwerpen we een geautomatiseerde voorkeursgegevensconstructiepijplijn om MMPR te creëren, een hoogwaardige, grootschalige multimodale redeneervoorkeursdataset, en (2) aan de modelkant onderzoeken we de integratie van PO met MLLM's, waarbij we een eenvoudige maar effectieve methode ontwikkelen, genaamd Gemengde Voorkeur Optimalisatie (MPO), die de multimodale CoT-prestaties verbetert. Onze benadering toont verbeterde prestaties over meerdere benchmarks, met name in multimodale redeneertaken. Opmerkelijk is dat ons model, InternVL2-8B-MPO, een nauwkeurigheid van 67,0 behaalt op MathVista, waarbij het InternVL2-8B met 8,7 punten overtreft en prestaties behaalt die vergelijkbaar zijn met de 10x grotere InternVL2-76B. We hopen dat deze studie verdere vooruitgang in MLLM's kan inspireren. Code, gegevens en model zullen openbaar worden vrijgegeven.

English

Existing open-source multimodal large language models (MLLMs) generally follow a training process involving pre-training and supervised fine-tuning. However, these models suffer from distribution shifts, which limit their multimodal reasoning, particularly in the Chain-of-Thought (CoT) performance. To address this, we introduce a preference optimization (PO) process to enhance the multimodal reasoning capabilities of MLLMs. Specifically, (1) on the data side, we design an automated preference data construction pipeline to create MMPR, a high-quality, large-scale multimodal reasoning preference dataset. and (2) on the model side, we explore integrating PO with MLLMs, developing a simple yet effective method, termed Mixed Preference Optimization (MPO), which boosts multimodal CoT performance. Our approach demonstrates improved performance across multiple benchmarks, particularly in multimodal reasoning tasks. Notably, our model, InternVL2-8B-MPO, achieves an accuracy of 67.0 on MathVista, outperforming InternVL2-8B by 8.7 points and achieving performance comparable to the 10x larger InternVL2-76B. We hope this study could inspire further advancements in MLLMs. Code, data, and model shall be publicly released.