VideoAutoArena: Een geautomatiseerde arena voor het evalueren van grote multimodale modellen in videomonitoring door middel van gebruikerssimulatie.

VideoAutoArena: An Automated Arena for Evaluating Large Multimodal Models in Video Analysis through User Simulation

November 20, 2024

Auteurs: Ziyang Luo, Haoning Wu, Dongxu Li, Jing Ma, Mohan Kankanhalli, Junnan Li

cs.AI

Samenvatting

Grote multimodale modellen (LMM's) met geavanceerde videofuncties hebben recentelijk aanzienlijke aandacht gekregen. Echter vertrouwen de meeste evaluaties nog steeds op traditionele methoden zoals meerkeuzevragen in benchmarks zoals VideoMME en LongVideoBench, die vaak niet de diepgang hebben die nodig is om aan de complexe eisen van gebruikers in de echte wereld te voldoen. Om deze beperking aan te pakken - en vanwege de hoge kosten en trage voortgang van menselijke annotatie voor videotaken - introduceren we VideoAutoArena, een arena-stijl benchmark geïnspireerd door het raamwerk van LMSYS Chatbot Arena, ontworpen om automatisch de videofuncties van LMM's te beoordelen. VideoAutoArena maakt gebruik van gebruikerssimulatie om open vragen te genereren die adaptief zijn en op strenge wijze de prestaties van modellen in videobegrip beoordelen. De benchmark beschikt over een geautomatiseerd, schaalbaar evaluatieraamwerk, waarbij een aangepast ELO Rating System wordt gebruikt voor eerlijke en voortdurende vergelijkingen tussen meerdere LMM's. Om ons geautomatiseerde beoordelingssysteem te valideren, construeren we een 'gouden standaard' met een zorgvuldig samengestelde subset van menselijke annotaties, waarbij wordt aangetoond dat onze arena sterk overeenkomt met menselijk oordeel terwijl schaalbaarheid behouden blijft. Daarnaast introduceren we een foutgestuurde evolutiestrategie, waarbij de complexiteit van vragen geleidelijk wordt verhoogd om modellen te stimuleren om meer uitdagende videobegripscenario's aan te kunnen. Experimentele resultaten tonen aan dat VideoAutoArena effectief onderscheid maakt tussen toonaangevende LMM's, en inzichten biedt in modelsterktes en verbeterpunten. Om onze evaluatie verder te stroomlijnen, introduceren we VideoAutoBench als aanvullende benchmark, waarbij menselijke annotators winnaars labelen in een subset van VideoAutoArena-gevechten. We gebruiken GPT-4o als beoordelaar om de antwoorden te vergelijken met deze door mensen gevalideerde antwoorden. Samen bieden VideoAutoArena en VideoAutoBench een kosteneffectief en schaalbaar raamwerk voor het evalueren van LMM's in gebruikersgerichte videobegrip.

English

Large multimodal models (LMMs) with advanced video analysis capabilities have recently garnered significant attention. However, most evaluations rely on traditional methods like multiple-choice questions in benchmarks such as VideoMME and LongVideoBench, which are prone to lack the depth needed to capture the complex demands of real-world users. To address this limitation-and due to the prohibitive cost and slow pace of human annotation for video tasks-we introduce VideoAutoArena, an arena-style benchmark inspired by LMSYS Chatbot Arena's framework, designed to automatically assess LMMs' video analysis abilities. VideoAutoArena utilizes user simulation to generate open-ended, adaptive questions that rigorously assess model performance in video understanding. The benchmark features an automated, scalable evaluation framework, incorporating a modified ELO Rating System for fair and continuous comparisons across multiple LMMs. To validate our automated judging system, we construct a 'gold standard' using a carefully curated subset of human annotations, demonstrating that our arena strongly aligns with human judgment while maintaining scalability. Additionally, we introduce a fault-driven evolution strategy, progressively increasing question complexity to push models toward handling more challenging video analysis scenarios. Experimental results demonstrate that VideoAutoArena effectively differentiates among state-of-the-art LMMs, providing insights into model strengths and areas for improvement. To further streamline our evaluation, we introduce VideoAutoBench as an auxiliary benchmark, where human annotators label winners in a subset of VideoAutoArena battles. We use GPT-4o as a judge to compare responses against these human-validated answers. Together, VideoAutoArena and VideoAutoBench offer a cost-effective, and scalable framework for evaluating LMMs in user-centric video analysis.