TOMATE : Évaluation des capacités de raisonnement temporel visuel dans les modèles fondamentaux multimodaux

TOMATO: Assessing Visual Temporal Reasoning Capabilities in Multimodal Foundation Models

October 30, 2024

Auteurs: Ziyao Shangguan, Chuhan Li, Yuxuan Ding, Yanan Zheng, Yilun Zhao, Tesca Fitzgerald, Arman Cohan

cs.AI

Résumé

Les benchmarks existants mettent souvent en avant les performances remarquables obtenues par les Modèles Fondamentaux Multimodaux (MFM) de pointe dans l'exploitation du contexte temporel pour la compréhension vidéo. Cependant, dans quelle mesure ces modèles réussissent-ils réellement le raisonnement temporel visuel ? Notre étude des benchmarks existants montre que cette capacité des MFMs est probablement surestimée car de nombreuses questions peuvent être résolues en utilisant un seul, quelques, ou des images hors séquence. Pour examiner systématiquement les tâches actuelles de raisonnement temporel visuel, nous proposons trois principes avec des métriques correspondantes : (1) Gain Multi-Images, (2) Sensibilité à l'Ordre des Images, et (3) Disparité de l'Information des Images. En suivant ces principes, nous introduisons TOMATO, Évaluation Multimodale du Raisonnement Temporel, un nouveau benchmark conçu pour évaluer rigoureusement les capacités de raisonnement temporel des MFMs dans la compréhension vidéo. TOMATO comprend 1 484 questions soigneusement sélectionnées et annotées par des humains couvrant six tâches (c'est-à-dire, comptage d'actions, direction, rotation, forme et tendance, vitesse et fréquence, et indices visuels), appliquées à 1 417 vidéos, comprenant 805 vidéos auto-enregistrées et générées, qui englobent des scénarios centrés sur l'humain, réels et simulés. Notre évaluation complète révèle un écart de performance de 57,3% entre l'humain et le meilleur modèle. De plus, notre analyse approfondie révèle des limitations plus fondamentales au-delà de cet écart dans les MFMs actuels. Alors qu'ils peuvent reconnaître avec précision des événements dans des images isolées, ils échouent à interpréter ces images comme une séquence continue. Nous pensons que TOMATO servira de banc d'essai crucial pour évaluer les MFMs de prochaine génération et comme un appel à la communauté pour développer des systèmes d'IA capables de comprendre la dynamique du monde humain à travers la modalité vidéo.

English

Existing benchmarks often highlight the remarkable performance achieved by state-of-the-art Multimodal Foundation Models (MFMs) in leveraging temporal context for video understanding. However, how well do the models truly perform visual temporal reasoning? Our study of existing benchmarks shows that this capability of MFMs is likely overestimated as many questions can be solved by using a single, few, or out-of-order frames. To systematically examine current visual temporal reasoning tasks, we propose three principles with corresponding metrics: (1) Multi-Frame Gain, (2) Frame Order Sensitivity, and (3) Frame Information Disparity. Following these principles, we introduce TOMATO, Temporal Reasoning Multimodal Evaluation, a novel benchmark crafted to rigorously assess MFMs' temporal reasoning capabilities in video understanding. TOMATO comprises 1,484 carefully curated, human-annotated questions spanning six tasks (i.e., action count, direction, rotation, shape & trend, velocity & frequency, and visual cues), applied to 1,417 videos, including 805 self-recorded and -generated videos, that encompass human-centric, real-world, and simulated scenarios. Our comprehensive evaluation reveals a human-model performance gap of 57.3% with the best-performing model. Moreover, our in-depth analysis uncovers more fundamental limitations beyond this gap in current MFMs. While they can accurately recognize events in isolated frames, they fail to interpret these frames as a continuous sequence. We believe TOMATO will serve as a crucial testbed for evaluating the next-generation MFMs and as a call to the community to develop AI systems capable of comprehending human world dynamics through the video modality.