MME-Unify: Un Benchmark Completo per Modelli Unificati di Comprensione e Generazione Multimodale

MME-Unify: A Comprehensive Benchmark for Unified Multimodal Understanding and Generation Models

April 4, 2025

Autori: Wulin Xie, Yi-Fan Zhang, Chaoyou Fu, Yang Shi, Bingyan Nie, Hongkai Chen, Zhang Zhang, Liang Wang, Tieniu Tan

cs.AI

Abstract

I benchmark esistenti per i MLLM (Multimodal Large Language Models) affrontano sfide significative nella valutazione dei MLLM Unificati (U-MLLM) a causa di: 1) la mancanza di benchmark standardizzati per i compiti tradizionali, che porta a confronti inconsistenti; 2) l'assenza di benchmark per la generazione multimodale mista, che non riesce a valutare le capacità di ragionamento multimodale. Presentiamo un framework di valutazione completo progettato per valutare sistematicamente gli U-MLLM. Il nostro benchmark include: 1. Valutazione Standardizzata dei Compiti Tradizionali. Campioniamo da 12 dataset, coprendo 10 compiti con 30 sottocompiti, garantendo confronti coerenti e equi tra gli studi. 2. Valutazione Unificata dei Compiti. Introduciamo cinque nuovi compiti che testano il ragionamento multimodale, tra cui l'editing di immagini, il question-answering di senso comune con generazione di immagini e il ragionamento geometrico. 3. Benchmark Completo dei Modelli. Valutiamo 12 U-MLLM leader, come Janus-Pro, EMU3, VILA-U e Gemini2-flash, insieme a modelli specializzati nella comprensione (ad esempio, Claude-3.5-Sonnet) e nella generazione (ad esempio, DALL-E-3). I nostri risultati rivelano significative lacune nelle prestazioni degli U-MLLM esistenti, evidenziando la necessità di modelli più robusti in grado di gestire efficacemente compiti multimodali misti. Il codice e i dati di valutazione sono disponibili su https://mme-unify.github.io/.

English

Existing MLLM benchmarks face significant challenges in evaluating Unified MLLMs (U-MLLMs) due to: 1) lack of standardized benchmarks for traditional tasks, leading to inconsistent comparisons; 2) absence of benchmarks for mixed-modality generation, which fails to assess multimodal reasoning capabilities. We present a comprehensive evaluation framework designed to systematically assess U-MLLMs. Our benchmark includes: Standardized Traditional Task Evaluation. We sample from 12 datasets, covering 10 tasks with 30 subtasks, ensuring consistent and fair comparisons across studies." 2. Unified Task Assessment. We introduce five novel tasks testing multimodal reasoning, including image editing, commonsense QA with image generation, and geometric reasoning. 3. Comprehensive Model Benchmarking. We evaluate 12 leading U-MLLMs, such as Janus-Pro, EMU3, VILA-U, and Gemini2-flash, alongside specialized understanding (e.g., Claude-3.5-Sonnet) and generation models (e.g., DALL-E-3). Our findings reveal substantial performance gaps in existing U-MLLMs, highlighting the need for more robust models capable of handling mixed-modality tasks effectively. The code and evaluation data can be found in https://mme-unify.github.io/.