VideoAutoArena: Un'arena automatizzata per valutare grandi modelli multimodali nell'analisi video attraverso la simulazione dell'utente.

VideoAutoArena: An Automated Arena for Evaluating Large Multimodal Models in Video Analysis through User Simulation

November 20, 2024

Autori: Ziyang Luo, Haoning Wu, Dongxu Li, Jing Ma, Mohan Kankanhalli, Junnan Li

cs.AI

Abstract

I grandi modelli multimodali (LMM) con avanzate capacità di analisi video hanno recentemente attirato notevole attenzione. Tuttavia, la maggior parte delle valutazioni si basa su metodi tradizionali come domande a risposta multipla in benchmark come VideoMME e LongVideoBench, che sono inclini a mancare della profondità necessaria per catturare le complesse esigenze degli utenti reali. Per affrontare questa limitazione - e a causa del costo proibitivo e del ritmo lento dell'annotazione umana per compiti video - introduciamo VideoAutoArena, un benchmark in stile arena ispirato al framework di LMSYS Chatbot Arena, progettato per valutare automaticamente le capacità di analisi video dei LMM. VideoAutoArena utilizza la simulazione dell'utente per generare domande aperte e adattive che valutano rigorosamente le prestazioni del modello nella comprensione dei video. Il benchmark presenta un framework di valutazione automatizzato e scalabile, che incorpora un sistema di valutazione ELO modificato per confronti equi e continui tra vari LMM. Per convalidare il nostro sistema di giudizio automatico, costruiamo uno 'standard d'oro' utilizzando un sottoinsieme accuratamente selezionato di annotazioni umane, dimostrando che la nostra arena si allinea fortemente con il giudizio umano pur mantenendo la scalabilità. Inoltre, introduciamo una strategia di evoluzione guidata dai difetti, aumentando progressivamente la complessità delle domande per spingere i modelli a gestire scenari di analisi video più impegnativi. I risultati sperimentali dimostrano che VideoAutoArena differenzia efficacemente tra i LMM all'avanguardia, fornendo approfondimenti sulle capacità del modello e sugli ambiti di miglioramento. Per semplificare ulteriormente la nostra valutazione, introduciamo VideoAutoBench come benchmark ausiliario, in cui gli annotatori umani etichettano i vincitori in un sottoinsieme delle battaglie di VideoAutoArena. Utilizziamo GPT-4o come giudice per confrontare le risposte con queste risposte validate dagli umani. Insieme, VideoAutoArena e VideoAutoBench offrono un framework economico e scalabile per valutare i LMM nell'analisi video centrata sull'utente.

English

Large multimodal models (LMMs) with advanced video analysis capabilities have recently garnered significant attention. However, most evaluations rely on traditional methods like multiple-choice questions in benchmarks such as VideoMME and LongVideoBench, which are prone to lack the depth needed to capture the complex demands of real-world users. To address this limitation-and due to the prohibitive cost and slow pace of human annotation for video tasks-we introduce VideoAutoArena, an arena-style benchmark inspired by LMSYS Chatbot Arena's framework, designed to automatically assess LMMs' video analysis abilities. VideoAutoArena utilizes user simulation to generate open-ended, adaptive questions that rigorously assess model performance in video understanding. The benchmark features an automated, scalable evaluation framework, incorporating a modified ELO Rating System for fair and continuous comparisons across multiple LMMs. To validate our automated judging system, we construct a 'gold standard' using a carefully curated subset of human annotations, demonstrating that our arena strongly aligns with human judgment while maintaining scalability. Additionally, we introduce a fault-driven evolution strategy, progressively increasing question complexity to push models toward handling more challenging video analysis scenarios. Experimental results demonstrate that VideoAutoArena effectively differentiates among state-of-the-art LMMs, providing insights into model strengths and areas for improvement. To further streamline our evaluation, we introduce VideoAutoBench as an auxiliary benchmark, where human annotators label winners in a subset of VideoAutoArena battles. We use GPT-4o as a judge to compare responses against these human-validated answers. Together, VideoAutoArena and VideoAutoBench offer a cost-effective, and scalable framework for evaluating LMMs in user-centric video analysis.