VideoAutoArena : Une arène automatisée pour évaluer de grands modèles multimodaux dans l'analyse vidéo à travers la simulation utilisateur.

VideoAutoArena: An Automated Arena for Evaluating Large Multimodal Models in Video Analysis through User Simulation

November 20, 2024

Auteurs: Ziyang Luo, Haoning Wu, Dongxu Li, Jing Ma, Mohan Kankanhalli, Junnan Li

cs.AI

Résumé

Les grands modèles multimodaux (LMM) dotés de capacités avancées d'analyse vidéo ont récemment suscité un intérêt significatif. Cependant, la plupart des évaluations reposent sur des méthodes traditionnelles telles que des questions à choix multiples dans des référentiels comme VideoMME et LongVideoBench, qui ont tendance à manquer de la profondeur nécessaire pour saisir les exigences complexes des utilisateurs du monde réel. Pour remédier à cette limitation - et en raison du coût prohibitif et du rythme lent de l'annotation humaine pour les tâches vidéo - nous introduisons VideoAutoArena, un référentiel de style arène inspiré du cadre de LMSYS Chatbot Arena, conçu pour évaluer automatiquement les capacités d'analyse vidéo des LMM. VideoAutoArena utilise une simulation d'utilisateur pour générer des questions ouvertes et adaptatives qui évaluent rigoureusement les performances du modèle en matière de compréhension vidéo. Le référentiel propose un cadre d'évaluation automatisé et évolutif, intégrant un système de notation ELO modifié pour des comparaisons justes et continues entre plusieurs LMM. Pour valider notre système de jugement automatisé, nous construisons un "standard de référence" en utilisant un sous-ensemble soigneusement sélectionné d'annotations humaines, démontrant que notre arène est fortement alignée sur le jugement humain tout en maintenant la scalabilité. De plus, nous introduisons une stratégie d'évolution basée sur les défauts, augmentant progressivement la complexité des questions pour pousser les modèles à traiter des scénarios d'analyse vidéo plus complexes. Les résultats expérimentaux montrent que VideoAutoArena différencie efficacement les LMM de pointe, offrant des perspectives sur les forces du modèle et les domaines à améliorer. Pour rationaliser davantage notre évaluation, nous introduisons VideoAutoBench comme référentiel auxiliaire, où des annotateurs humains étiquettent les gagnants dans un sous-ensemble des combats de VideoAutoArena. Nous utilisons GPT-4o comme juge pour comparer les réponses à ces réponses validées par les humains. Ensemble, VideoAutoArena et VideoAutoBench offrent un cadre rentable et évolutif pour évaluer les LMM dans l'analyse vidéo centrée sur l'utilisateur.

English

Large multimodal models (LMMs) with advanced video analysis capabilities have recently garnered significant attention. However, most evaluations rely on traditional methods like multiple-choice questions in benchmarks such as VideoMME and LongVideoBench, which are prone to lack the depth needed to capture the complex demands of real-world users. To address this limitation-and due to the prohibitive cost and slow pace of human annotation for video tasks-we introduce VideoAutoArena, an arena-style benchmark inspired by LMSYS Chatbot Arena's framework, designed to automatically assess LMMs' video analysis abilities. VideoAutoArena utilizes user simulation to generate open-ended, adaptive questions that rigorously assess model performance in video understanding. The benchmark features an automated, scalable evaluation framework, incorporating a modified ELO Rating System for fair and continuous comparisons across multiple LMMs. To validate our automated judging system, we construct a 'gold standard' using a carefully curated subset of human annotations, demonstrating that our arena strongly aligns with human judgment while maintaining scalability. Additionally, we introduce a fault-driven evolution strategy, progressively increasing question complexity to push models toward handling more challenging video analysis scenarios. Experimental results demonstrate that VideoAutoArena effectively differentiates among state-of-the-art LMMs, providing insights into model strengths and areas for improvement. To further streamline our evaluation, we introduce VideoAutoBench as an auxiliary benchmark, where human annotators label winners in a subset of VideoAutoArena battles. We use GPT-4o as a judge to compare responses against these human-validated answers. Together, VideoAutoArena and VideoAutoBench offer a cost-effective, and scalable framework for evaluating LMMs in user-centric video analysis.