MMVU: Het Meten van Expertniveau Video Begrip over Meerdere Disciplines

MMVU: Measuring Expert-Level Multi-Discipline Video Understanding

January 21, 2025

Auteurs: Yilun Zhao, Lujing Xie, Haowei Zhang, Guo Gan, Yitao Long, Zhiyuan Hu, Tongyan Hu, Weiyuan Chen, Chuhan Li, Junyang Song, Zhijian Xu, Chengye Wang, Weifeng Pan, Ziyao Shangguan, Xiangru Tang, Zhenwen Liang, Yixin Liu, Chen Zhao, Arman Cohan

cs.AI

Samenvatting

We introduceren MMVU, een uitgebreide benchmark op expertniveau voor het evalueren van basismodellen in videobegrip. MMVU omvat 3.000 door experts geannoteerde vragen die 27 onderwerpen beslaan binnen vier kern disciplines: Wetenschap, Gezondheidszorg, Geesteswetenschappen & Sociale Wetenschappen, en Techniek. In vergelijking met eerdere benchmarks heeft MMVU drie belangrijke verbeteringen. Ten eerste daagt het modellen uit om domeinspecifieke kennis toe te passen en expertniveau redenering uit te voeren om gespecialiseerde domeinvideo's te analyseren, verdergaand dan de basis visuele perceptie die doorgaans wordt beoordeeld in huidige videobenchmarks. Ten tweede wordt elk voorbeeld vanaf nul geannoteerd door menselijke experts. We passen strikte datakwaliteitscontroles toe om de hoge kwaliteit van de dataset te waarborgen. Ten slotte wordt elk voorbeeld verrijkt met expert-geannoteerde redeneerrationalen en relevante domeinkennis, wat diepgaande analyse mogelijk maakt. We voeren een uitgebreide evaluatie uit van 32 voorhoede multimodale basismodellen op MMVU. De nieuwste System-2-capabele modellen, o1 en Gemini 2.0 Flash Thinking, behalen de hoogste prestaties onder de geteste modellen. Echter, ze komen nog steeds tekort in vergelijking met menselijke expertise. Door diepgaande foutanalyses en casestudies bieden we bruikbare inzichten voor toekomstige ontwikkelingen in expertniveau, kennisintensief videobegrip voor gespecialiseerde domeinen.

English

We introduce MMVU, a comprehensive expert-level, multi-discipline benchmark for evaluating foundation models in video understanding. MMVU includes 3,000 expert-annotated questions spanning 27 subjects across four core disciplines: Science, Healthcare, Humanities & Social Sciences, and Engineering. Compared to prior benchmarks, MMVU features three key advancements. First, it challenges models to apply domain-specific knowledge and perform expert-level reasoning to analyze specialized-domain videos, moving beyond the basic visual perception typically assessed in current video benchmarks. Second, each example is annotated by human experts from scratch. We implement strict data quality controls to ensure the high quality of the dataset. Finally, each example is enriched with expert-annotated reasoning rationals and relevant domain knowledge, facilitating in-depth analysis. We conduct an extensive evaluation of 32 frontier multimodal foundation models on MMVU. The latest System-2-capable models, o1 and Gemini 2.0 Flash Thinking, achieve the highest performance among the tested models. However, they still fall short of matching human expertise. Through in-depth error analyses and case studies, we offer actionable insights for future advancements in expert-level, knowledge-intensive video understanding for specialized domains.