POMODORO: Valutazione delle capacità di ragionamento temporale visivo nei modelli fondamentali multimodali

TOMATO: Assessing Visual Temporal Reasoning Capabilities in Multimodal Foundation Models

October 30, 2024
Autori: Ziyao Shangguan, Chuhan Li, Yuxuan Ding, Yanan Zheng, Yilun Zhao, Tesca Fitzgerald, Arman Cohan
cs.AI

Abstract

I benchmark esistenti spesso mettono in evidenza le notevoli prestazioni raggiunte dai Modelli Fondamentali Multimodali (MFM) all'avanguardia nel sfruttare il contesto temporale per la comprensione dei video. Tuttavia, quanto bene si comportano realmente i modelli nell'analisi visiva del ragionamento temporale? La nostra analisi dei benchmark esistenti mostra che questa capacità dei MFM è probabilmente sopravvalutata poiché molte domande possono essere risolte utilizzando uno, pochi o frame fuori sequenza. Per esaminare sistematicamente le attuali attività di ragionamento temporale visivo, proponiamo tre principi con metriche corrispondenti: (1) Guadagno Multi-Frame, (2) Sensibilità all'Ordine dei Frame e (3) Disparità delle Informazioni dei Frame. Seguendo questi principi, presentiamo TOMATO, Valutazione Multimodale del Ragionamento Temporale, un nuovo benchmark progettato per valutare rigorosamente le capacità di ragionamento temporale dei MFM nella comprensione dei video. TOMATO comprende 1.484 domande accuratamente selezionate e annotate da umani che coprono sei compiti (ossia, conteggio azioni, direzione, rotazione, forma e tendenza, velocità e frequenza e indizi visivi), applicate a 1.417 video, inclusi 805 video auto-registrati e generati, che comprendono scenari umani, reali e simulati. La nostra valutazione completa rivela un divario di prestazioni tra umano e modello del 57,3% con il modello migliore. Inoltre, la nostra analisi approfondita mette in luce limitazioni più fondamentali oltre a questo divario nei MFM attuali. Mentre riescono a riconoscere accuratamente eventi in frame isolati, falliscono nell'interpretare questi frame come una sequenza continua. Crediamo che TOMATO servirà come banco di prova cruciale per valutare i MFM di prossima generazione e come invito alla comunità per sviluppare sistemi AI capaci di comprendere la dinamica del mondo umano attraverso la modalità video.
English
Existing benchmarks often highlight the remarkable performance achieved by state-of-the-art Multimodal Foundation Models (MFMs) in leveraging temporal context for video understanding. However, how well do the models truly perform visual temporal reasoning? Our study of existing benchmarks shows that this capability of MFMs is likely overestimated as many questions can be solved by using a single, few, or out-of-order frames. To systematically examine current visual temporal reasoning tasks, we propose three principles with corresponding metrics: (1) Multi-Frame Gain, (2) Frame Order Sensitivity, and (3) Frame Information Disparity. Following these principles, we introduce TOMATO, Temporal Reasoning Multimodal Evaluation, a novel benchmark crafted to rigorously assess MFMs' temporal reasoning capabilities in video understanding. TOMATO comprises 1,484 carefully curated, human-annotated questions spanning six tasks (i.e., action count, direction, rotation, shape & trend, velocity & frequency, and visual cues), applied to 1,417 videos, including 805 self-recorded and -generated videos, that encompass human-centric, real-world, and simulated scenarios. Our comprehensive evaluation reveals a human-model performance gap of 57.3% with the best-performing model. Moreover, our in-depth analysis uncovers more fundamental limitations beyond this gap in current MFMs. While they can accurately recognize events in isolated frames, they fail to interpret these frames as a continuous sequence. We believe TOMATO will serve as a crucial testbed for evaluating the next-generation MFMs and as a call to the community to develop AI systems capable of comprehending human world dynamics through the video modality.

Summary

AI-Generated Summary

PDF202November 13, 2024