AdaMMS: Fusione di Modelli per Grandi Modelli Linguistici Multimodali Eterogenei con Ottimizzazione Non Supervisionata dei Coefficienti

AdaMMS: Model Merging for Heterogeneous Multimodal Large Language Models with Unsupervised Coefficient Optimization

March 31, 2025

Autori: Yiyang Du, Xiaochen Wang, Chi Chen, Jiabo Ye, Yiru Wang, Peng Li, Ming Yan, Ji Zhang, Fei Huang, Zhifang Sui, Maosong Sun, Yang Liu

cs.AI

Abstract

Recentemente, i metodi di fusione di modelli hanno dimostrato una potente capacità di combinare abilità su vari task provenienti da più modelli linguistici di grandi dimensioni (LLM). Mentre i precedenti metodi di fusione si concentravano principalmente sulla fusione di modelli omogenei con architettura identica, incontrano difficoltà quando si tratta di Modelli Linguistici Multimodali di Grandi Dimensioni (MLLM) con una proprietà intrinsecamente eterogenea, inclusa la differenza nell'architettura del modello e l'asimmetria nello spazio dei parametri. In questo lavoro, proponiamo AdaMMS, un nuovo metodo di fusione di modelli progettato specificamente per MLLM eterogenei. Il nostro metodo affronta le sfide in tre passaggi: mappatura, fusione e ricerca. Nello specifico, progettiamo prima una funzione di mappatura tra i modelli per applicare la fusione su MLLM con architetture diverse. Successivamente, applichiamo un'interpolazione lineare sui pesi del modello per adattare attivamente l'asimmetria nei MLLM eterogenei. Infine, nel passaggio di ricerca degli iperparametri, proponiamo un metodo di selezione degli iperparametri non supervisionato per la fusione di modelli. Essendo il primo metodo di fusione in grado di unire MLLM eterogenei senza dati etichettati, esperimenti estesi su varie combinazioni di modelli hanno dimostrato che AdaMMS supera i precedenti metodi di fusione su vari benchmark di visione e linguaggio.

English

Recently, model merging methods have demonstrated powerful strengths in combining abilities on various tasks from multiple Large Language Models (LLMs). While previous model merging methods mainly focus on merging homogeneous models with identical architecture, they meet challenges when dealing with Multimodal Large Language Models (MLLMs) with inherent heterogeneous property, including differences in model architecture and the asymmetry in the parameter space. In this work, we propose AdaMMS, a novel model merging method tailored for heterogeneous MLLMs. Our method tackles the challenges in three steps: mapping, merging and searching. Specifically, we first design mapping function between models to apply model merging on MLLMs with different architecture. Then we apply linear interpolation on model weights to actively adapt the asymmetry in the heterogeneous MLLMs. Finally in the hyper-parameter searching step, we propose an unsupervised hyper-parameter selection method for model merging. As the first model merging method capable of merging heterogeneous MLLMs without labeled data, extensive experiments on various model combinations demonstrated that AdaMMS outperforms previous model merging methods on various vision-language benchmarks.