POMODORO: Valutazione delle capacità di ragionamento temporale visivo nei modelli fondamentali multimodali
TOMATO: Assessing Visual Temporal Reasoning Capabilities in Multimodal Foundation Models
October 30, 2024
Autori: Ziyao Shangguan, Chuhan Li, Yuxuan Ding, Yanan Zheng, Yilun Zhao, Tesca Fitzgerald, Arman Cohan
cs.AI
Abstract
I benchmark esistenti spesso mettono in evidenza le notevoli prestazioni raggiunte dai Modelli Fondamentali Multimodali (MFM) all'avanguardia nel sfruttare il contesto temporale per la comprensione dei video. Tuttavia, quanto bene si comportano realmente i modelli nell'analisi visiva del ragionamento temporale? La nostra analisi dei benchmark esistenti mostra che questa capacità dei MFM è probabilmente sopravvalutata poiché molte domande possono essere risolte utilizzando uno, pochi o frame fuori sequenza. Per esaminare sistematicamente le attuali attività di ragionamento temporale visivo, proponiamo tre principi con metriche corrispondenti: (1) Guadagno Multi-Frame, (2) Sensibilità all'Ordine dei Frame e (3) Disparità delle Informazioni dei Frame. Seguendo questi principi, presentiamo TOMATO, Valutazione Multimodale del Ragionamento Temporale, un nuovo benchmark progettato per valutare rigorosamente le capacità di ragionamento temporale dei MFM nella comprensione dei video. TOMATO comprende 1.484 domande accuratamente selezionate e annotate da umani che coprono sei compiti (ossia, conteggio azioni, direzione, rotazione, forma e tendenza, velocità e frequenza e indizi visivi), applicate a 1.417 video, inclusi 805 video auto-registrati e generati, che comprendono scenari umani, reali e simulati. La nostra valutazione completa rivela un divario di prestazioni tra umano e modello del 57,3% con il modello migliore. Inoltre, la nostra analisi approfondita mette in luce limitazioni più fondamentali oltre a questo divario nei MFM attuali. Mentre riescono a riconoscere accuratamente eventi in frame isolati, falliscono nell'interpretare questi frame come una sequenza continua. Crediamo che TOMATO servirà come banco di prova cruciale per valutare i MFM di prossima generazione e come invito alla comunità per sviluppare sistemi AI capaci di comprendere la dinamica del mondo umano attraverso la modalità video.
English
Existing benchmarks often highlight the remarkable performance achieved by
state-of-the-art Multimodal Foundation Models (MFMs) in leveraging temporal
context for video understanding. However, how well do the models truly perform
visual temporal reasoning? Our study of existing benchmarks shows that this
capability of MFMs is likely overestimated as many questions can be solved by
using a single, few, or out-of-order frames. To systematically examine current
visual temporal reasoning tasks, we propose three principles with corresponding
metrics: (1) Multi-Frame Gain, (2) Frame Order Sensitivity, and (3) Frame
Information Disparity. Following these principles, we introduce TOMATO,
Temporal Reasoning Multimodal Evaluation, a novel benchmark crafted to
rigorously assess MFMs' temporal reasoning capabilities in video understanding.
TOMATO comprises 1,484 carefully curated, human-annotated questions spanning
six tasks (i.e., action count, direction, rotation, shape & trend, velocity &
frequency, and visual cues), applied to 1,417 videos, including 805
self-recorded and -generated videos, that encompass human-centric, real-world,
and simulated scenarios. Our comprehensive evaluation reveals a human-model
performance gap of 57.3% with the best-performing model. Moreover, our in-depth
analysis uncovers more fundamental limitations beyond this gap in current MFMs.
While they can accurately recognize events in isolated frames, they fail to
interpret these frames as a continuous sequence. We believe TOMATO will serve
as a crucial testbed for evaluating the next-generation MFMs and as a call to
the community to develop AI systems capable of comprehending human world
dynamics through the video modality.Summary
AI-Generated Summary