4D-Bench: Benchmarking dei Modelli Linguistici Multimodali di Grande Scala per la Comprensione di Oggetti 4D

4D-Bench: Benchmarking Multi-modal Large Language Models for 4D Object Understanding

March 22, 2025

Autori: Wenxuan Zhu, Bing Li, Cheng Zheng, Jinjie Mai, Jun Chen, Letian Jiang, Abdullah Hamdi, Sara Rojas Martinez, Chia-Wen Lin, Mohamed Elhoseiny, Bernard Ghanem

cs.AI

Abstract

I Modelli Linguistici Multimodali di Grande Scala (MLLMs) hanno dimostrato impressionanti capacità di comprensione di immagini/video 2D. Tuttavia, non esistono benchmark pubblici standardizzati per valutare le capacità degli MLLMs nella comprensione di oggetti 4D (oggetti 3D con evoluzione temporale nel tempo). In questo articolo, introduciamo 4D-Bench, il primo benchmark progettato per valutare le capacità degli MLLMs nella comprensione di oggetti 4D, caratterizzato da compiti di Risposta a Domande su Oggetti 4D (4D object QA) e di Descrizione di Oggetti 4D (4D object captioning). 4D-Bench fornisce oggetti 4D con categorie diversificate, annotazioni di alta qualità e compiti che richiedono una comprensione spaziale-temporale multi-vista, differenziandosi dai benchmark esistenti basati su immagini/video 2D. Utilizzando 4D-Bench, abbiamo valutato un'ampia gamma di MLLMs open-source e closed-source. I risultati dell'esperimento di descrizione di oggetti 4D indicano che gli MLLMs generalmente mostrano una comprensione temporale più debole rispetto alla comprensione dell'aspetto, in particolare, mentre i modelli open-source si avvicinano alle prestazioni dei modelli closed-source nella comprensione dell'aspetto, mostrano gap di prestazione più ampi nella comprensione temporale. La Risposta a Domande su Oggetti 4D ha prodotto risultati sorprendenti: anche con semplici video a singolo oggetto, gli MLLMs performano male, con il più avanzato GPT-4o che raggiunge solo il 63% di accuratezza rispetto al baseline umano del 91%. Questi risultati evidenziano un gap sostanziale nella comprensione di oggetti 4D e la necessità di ulteriori progressi negli MLLMs.

English

Multimodal Large Language Models (MLLMs) have demonstrated impressive 2D image/video understanding capabilities. However, there are no publicly standardized benchmarks to assess the abilities of MLLMs in understanding the 4D objects (3D objects with temporal evolution over time). In this paper, we introduce 4D-Bench, the first benchmark to evaluate the capabilities of MLLMs in 4D object understanding, featuring tasks in 4D object Question Answering (4D object QA) and 4D object captioning. 4D-Bench provides 4D objects with diverse categories, high-quality annotations, and tasks necessitating multi-view spatial-temporal understanding, different from existing 2D image/video-based benchmarks. With 4D-Bench, we evaluate a wide range of open-source and closed-source MLLMs. The results from the 4D object captioning experiment indicate that MLLMs generally exhibit weaker temporal understanding compared to their appearance understanding, notably, while open-source models approach closed-source performance in appearance understanding, they show larger performance gaps in temporal understanding. 4D object QA yields surprising findings: even with simple single-object videos, MLLMs perform poorly, with state-of-the-art GPT-4o achieving only 63\% accuracy compared to the human baseline of 91\%. These findings highlight a substantial gap in 4D object understanding and the need for further advancements in MLLMs.