Migliorare la capacità di ragionamento dei modelli di linguaggio multimodali di grandi dimensioni tramite ottimizzazione delle preferenze miste

Enhancing the Reasoning Ability of Multimodal Large Language Models via Mixed Preference Optimization

November 15, 2024

Autori: Weiyun Wang, Zhe Chen, Wenhai Wang, Yue Cao, Yangzhou Liu, Zhangwei Gao, Jinguo Zhu, Xizhou Zhu, Lewei Lu, Yu Qiao, Jifeng Dai

cs.AI

Abstract

I modelli di linguaggio multimodali di grandi dimensioni (MLLM) open-source esistenti generalmente seguono un processo di addestramento che coinvolge la preformazione e il fine-tuning supervisionato. Tuttavia, questi modelli soffrono di spostamenti di distribuzione, che limitano il loro ragionamento multimodale, in particolare nelle prestazioni della Catena di Pensiero (CoT). Per affrontare questo problema, introduciamo un processo di ottimizzazione delle preferenze (PO) per potenziare le capacità di ragionamento multimodale dei MLLM. In particolare, (1) sul lato dei dati, progettiamo un flusso di lavoro automatizzato per la costruzione dei dati di preferenza per creare MMPR, un dataset di preferenze di ragionamento multimodale di alta qualità e di grandi dimensioni, e (2) sul lato del modello, esploriamo l'integrazione di PO con i MLLM, sviluppando un metodo semplice ma efficace, chiamato Ottimizzazione Mista delle Preferenze (MPO), che migliora le prestazioni multimodali della CoT. Il nostro approccio dimostra un miglioramento delle prestazioni su diversi benchmark, in particolare nei compiti di ragionamento multimodale. In particolare, il nostro modello, InternVL2-8B-MPO, raggiunge un'accuratezza del 67,0 su MathVista, superando InternVL2-8B di 8,7 punti e ottenendo prestazioni paragonabili al modello InternVL2-76B, 10 volte più grande. Speriamo che questo studio possa ispirare ulteriori progressi nei MLLM. Il codice, i dati e il modello saranno resi pubblici.

English

Existing open-source multimodal large language models (MLLMs) generally follow a training process involving pre-training and supervised fine-tuning. However, these models suffer from distribution shifts, which limit their multimodal reasoning, particularly in the Chain-of-Thought (CoT) performance. To address this, we introduce a preference optimization (PO) process to enhance the multimodal reasoning capabilities of MLLMs. Specifically, (1) on the data side, we design an automated preference data construction pipeline to create MMPR, a high-quality, large-scale multimodal reasoning preference dataset. and (2) on the model side, we explore integrating PO with MLLMs, developing a simple yet effective method, termed Mixed Preference Optimization (MPO), which boosts multimodal CoT performance. Our approach demonstrates improved performance across multiple benchmarks, particularly in multimodal reasoning tasks. Notably, our model, InternVL2-8B-MPO, achieves an accuracy of 67.0 on MathVista, outperforming InternVL2-8B by 8.7 points and achieving performance comparable to the 10x larger InternVL2-76B. We hope this study could inspire further advancements in MLLMs. Code, data, and model shall be publicly released.