VBench++ : Suite de référence complète et polyvalente pour les modèles génératifs de vidéos

VBench++: Comprehensive and Versatile Benchmark Suite for Video Generative Models

November 20, 2024

Auteurs: Ziqi Huang, Fan Zhang, Xiaojie Xu, Yinan He, Jiashuo Yu, Ziyue Dong, Qianli Ma, Nattapol Chanpaisit, Chenyang Si, Yuming Jiang, Yaohui Wang, Xinyuan Chen, Ying-Cong Chen, Limin Wang, Dahua Lin, Yu Qiao, Ziwei Liu

cs.AI

Résumé

La génération de vidéos a connu des avancées significatives, mais l'évaluation de ces modèles reste un défi. Un banc d'essai d'évaluation complet pour la génération de vidéos est indispensable pour deux raisons : 1) Les métriques existantes ne correspondent pas pleinement aux perceptions humaines ; 2) Un système d'évaluation idéal devrait fournir des informations pour orienter les développements futurs de la génération de vidéos. À cette fin, nous présentons VBench, une suite de bancs d'essai complète qui dissèque la "qualité de génération de vidéos" en dimensions spécifiques, hiérarchiques et désenchevêtrées, chacune avec des directives et des méthodes d'évaluation adaptées. VBench présente plusieurs caractéristiques attrayantes : 1) Dimensions Complètes : VBench comprend 16 dimensions dans la génération de vidéos (par exemple, incohérence de l'identité du sujet, fluidité du mouvement, scintillement temporel, et relation spatiale, etc.). Les métriques d'évaluation avec des niveaux détaillés révèlent les forces et les faiblesses des modèles individuels. 2) Alignement Humain : Nous fournissons également un ensemble de données d'annotations de préférence humaine pour valider l'alignement de nos bancs d'essai avec la perception humaine, pour chaque dimension d'évaluation respectivement. 3) Informations Précieuses : Nous examinons la capacité des modèles actuels à travers diverses dimensions d'évaluation et divers types de contenu. Nous étudions également les écarts entre les modèles de génération de vidéos et d'images. 4) Bancs d'Essai Polyvalents : VBench++ prend en charge l'évaluation du texte vers la vidéo et de l'image vers la vidéo. Nous introduisons une Suite d'Images de haute qualité avec un rapport hauteur/largeur adaptatif pour permettre des évaluations équitables dans différents paramètres de génération d'images vers vidéos. Au-delà de l'évaluation de la qualité technique, VBench++ évalue la fiabilité des modèles génératifs de vidéos, offrant une vue plus holistique des performances des modèles. 5) Entièrement Open Source : Nous rendons VBench++ entièrement open source et ajoutons continuellement de nouveaux modèles de génération de vidéos à notre classement pour faire avancer le domaine de la génération de vidéos.

English

Video generation has witnessed significant advancements, yet evaluating these models remains a challenge. A comprehensive evaluation benchmark for video generation is indispensable for two reasons: 1) Existing metrics do not fully align with human perceptions; 2) An ideal evaluation system should provide insights to inform future developments of video generation. To this end, we present VBench, a comprehensive benchmark suite that dissects "video generation quality" into specific, hierarchical, and disentangled dimensions, each with tailored prompts and evaluation methods. VBench has several appealing properties: 1) Comprehensive Dimensions: VBench comprises 16 dimensions in video generation (e.g., subject identity inconsistency, motion smoothness, temporal flickering, and spatial relationship, etc). The evaluation metrics with fine-grained levels reveal individual models' strengths and weaknesses. 2) Human Alignment: We also provide a dataset of human preference annotations to validate our benchmarks' alignment with human perception, for each evaluation dimension respectively. 3) Valuable Insights: We look into current models' ability across various evaluation dimensions, and various content types. We also investigate the gaps between video and image generation models. 4) Versatile Benchmarking: VBench++ supports evaluating text-to-video and image-to-video. We introduce a high-quality Image Suite with an adaptive aspect ratio to enable fair evaluations across different image-to-video generation settings. Beyond assessing technical quality, VBench++ evaluates the trustworthiness of video generative models, providing a more holistic view of model performance. 5) Full Open-Sourcing: We fully open-source VBench++ and continually add new video generation models to our leaderboard to drive forward the field of video generation.