VideoAutoArena: Eine automatisierte Arena zur Bewertung großer multimodaler Modelle in der Videoanalyse durch Benutzersimulation.

VideoAutoArena: An Automated Arena for Evaluating Large Multimodal Models in Video Analysis through User Simulation

November 20, 2024

Autoren: Ziyang Luo, Haoning Wu, Dongxu Li, Jing Ma, Mohan Kankanhalli, Junnan Li

cs.AI

Zusammenfassung

Große multimodale Modelle (LMMs) mit fortschrittlichen Videoanalysefähigkeiten haben in letzter Zeit erhebliche Aufmerksamkeit erregt. Die meisten Bewertungen stützen sich jedoch auf traditionelle Methoden wie Multiple-Choice-Fragen in Benchmarks wie VideoMME und LongVideoBench, die dazu neigen, nicht die erforderliche Tiefe zu haben, um die komplexen Anforderungen realer Benutzer zu erfassen. Um diese Einschränkung zu adressieren - und aufgrund der prohibitiven Kosten und des langsamen Tempos der menschlichen Annotation für Videoaufgaben - führen wir VideoAutoArena ein, einen Arena-basierten Benchmark, inspiriert vom Rahmen des LMSYS Chatbot Arena, der entwickelt wurde, um automatisch die Videoanalysefähigkeiten von LMMs zu bewerten. VideoAutoArena nutzt Benutzersimulation, um offene, anpassungsfähige Fragen zu generieren, die die Leistung des Modells bei der Videoverarbeitung rigoros bewerten. Der Benchmark verfügt über ein automatisiertes, skalierbares Bewertungsframework, das ein modifiziertes ELO-Rating-System für faire und kontinuierliche Vergleiche zwischen mehreren LMMs integriert. Um unser automatisiertes Bewertungssystem zu validieren, erstellen wir einen 'Goldstandard' unter Verwendung eines sorgfältig kuratierten Teils menschlicher Annotationen, was zeigt, dass unsere Arena stark mit menschlichem Urteil übereinstimmt und gleichzeitig skalierbar bleibt. Darüber hinaus führen wir eine fehlergetriebene Evolutionsstrategie ein, die die Fragekomplexität schrittweise erhöht, um die Modelle dazu zu bringen, mit anspruchsvolleren Szenarien der Videoanalyse umzugehen. Experimentelle Ergebnisse zeigen, dass VideoAutoArena effektiv zwischen modernsten LMMs unterscheidet und Einblicke in Modellstärken und Verbesserungsbereiche bietet. Um unsere Bewertung weiter zu optimieren, führen wir VideoAutoBench als zusätzlichen Benchmark ein, bei dem menschliche Annotatoren die Gewinner in einem Teil der VideoAutoArena-Kämpfe kennzeichnen. Wir verwenden GPT-4o als Richter, um die Antworten mit diesen menschlich validierten Antworten zu vergleichen. Zusammen bieten VideoAutoArena und VideoAutoBench ein kostengünstiges und skalierbares Framework zur Bewertung von LMMs in der benutzerzentrierten Videoanalyse.

English

Large multimodal models (LMMs) with advanced video analysis capabilities have recently garnered significant attention. However, most evaluations rely on traditional methods like multiple-choice questions in benchmarks such as VideoMME and LongVideoBench, which are prone to lack the depth needed to capture the complex demands of real-world users. To address this limitation-and due to the prohibitive cost and slow pace of human annotation for video tasks-we introduce VideoAutoArena, an arena-style benchmark inspired by LMSYS Chatbot Arena's framework, designed to automatically assess LMMs' video analysis abilities. VideoAutoArena utilizes user simulation to generate open-ended, adaptive questions that rigorously assess model performance in video understanding. The benchmark features an automated, scalable evaluation framework, incorporating a modified ELO Rating System for fair and continuous comparisons across multiple LMMs. To validate our automated judging system, we construct a 'gold standard' using a carefully curated subset of human annotations, demonstrating that our arena strongly aligns with human judgment while maintaining scalability. Additionally, we introduce a fault-driven evolution strategy, progressively increasing question complexity to push models toward handling more challenging video analysis scenarios. Experimental results demonstrate that VideoAutoArena effectively differentiates among state-of-the-art LMMs, providing insights into model strengths and areas for improvement. To further streamline our evaluation, we introduce VideoAutoBench as an auxiliary benchmark, where human annotators label winners in a subset of VideoAutoArena battles. We use GPT-4o as a judge to compare responses against these human-validated answers. Together, VideoAutoArena and VideoAutoBench offer a cost-effective, and scalable framework for evaluating LMMs in user-centric video analysis.