Esplorazione delle annotazioni concettuali a più granularità per modelli di linguaggio multimodali di grandi dimensioni

Exploring Multi-Grained Concept Annotations for Multimodal Large Language Models

December 8, 2024

Autori: Xiao Xu, Tianhao Niu, Yuxi Xie, Libo Qin, Wanxiang Che, Min-Yen Kan

cs.AI

Abstract

I Modelli Linguistici Multimodali di Grandi Dimensioni (MLLM) eccellono nei compiti visione-linguaggio pre-addestrando esclusivamente su annotazioni di concetti a grana grossa (ad esempio, didascalie di immagini). Ipotizziamo che l'integrazione di annotazioni di concetti a grana fine (ad esempio, etichette degli oggetti e regioni degli oggetti) migliorerà ulteriormente le prestazioni, poiché entrambe le granularità dei dati si integrano a vicenda in termini di ampiezza e profondità nella rappresentazione dei concetti. Introduciamo un nuovo dataset che presenta annotazioni di concetti Multimodali a Multi-Granularità (MMGiC) per MLLM. Nella costruzione di MMGiC, esploriamo l'impatto di diverse ricette di dati sulla comprensione e generazione multimodale. Le nostre analisi rivelano che le annotazioni a multi-granularità dei concetti si integrano e si completano, all'interno del nostro modello strutturato e di un framework MLLM generale. Esploriamo chiaramente e dimostriamo il potenziale di MMGiC nell'aiutare i MLLM a individuare e apprendere meglio i concetti, allineando la visione e il linguaggio a molteplici granularità. Convalidiamo ulteriormente la nostra ipotesi investigando il confronto equo e la collaborazione efficace tra MMGiC e i dati immagine-didascalia su 12 benchmark di comprensione e generazione multimodale, ad esempio, la loro combinazione appropriata ottiene miglioramenti assoluti del 3,95% e del 2,34% rispetto ai soli dati immagine-didascalia su POPE e SEED-Bench. Codice, dati e modelli saranno disponibili su https://github.com/LooperXX/MMGiC.

English

Multimodal Large Language Models (MLLMs) excel in vision--language tasks by pre-training solely on coarse-grained concept annotations (e.g., image captions). We hypothesize that integrating fine-grained concept annotations (e.g., object labels and object regions) will further improve performance, as both data granularities complement each other in terms of breadth and depth in concept representation. We introduce a new dataset featuring Multimodal Multi-Grained Concept annotations (MMGiC) for MLLMs. In constructing MMGiC, we explore the impact of different data recipes on multimodal comprehension and generation. Our analyses reveal that multi-grained concept annotations integrate and complement each other, under our structured template and a general MLLM framework. We clearly explore and demonstrate the potential of MMGiC to help MLLMs better locate and learn concepts, aligning vision and language at multiple granularities. We further validate our hypothesis by investigating the fair comparison and effective collaboration between MMGiC and image--caption data on 12 multimodal comprehension and generation benchmarks, e.g., their appropriate combination achieve 3.95% and 2.34% absolute improvements over image--caption data alone on POPE and SEED-Bench. Code, data and models will be available at https://github.com/LooperXX/MMGiC.