VBench++: Uitgebreide en veelzijdige benchmark suite voor video generatieve modellen

VBench++: Comprehensive and Versatile Benchmark Suite for Video Generative Models

November 20, 2024

Auteurs: Ziqi Huang, Fan Zhang, Xiaojie Xu, Yinan He, Jiashuo Yu, Ziyue Dong, Qianli Ma, Nattapol Chanpaisit, Chenyang Si, Yuming Jiang, Yaohui Wang, Xinyuan Chen, Ying-Cong Chen, Limin Wang, Dahua Lin, Yu Qiao, Ziwei Liu

cs.AI

Samenvatting

Het genereren van video's heeft aanzienlijke vooruitgang geboekt, maar het evalueren van deze modellen blijft een uitdaging. Een uitgebreide evaluatiebenchmark voor videogeneratie is onmisbaar om twee redenen: 1) Bestaande metrieken komen niet volledig overeen met menselijke percepties; 2) Een ideaal evaluatiesysteem zou inzichten moeten bieden om toekomstige ontwikkelingen van videogeneratie te informeren. Met dit doel presenteren we VBench, een uitgebreide benchmark suite die "videogeneratiekwaliteit" opsplitst in specifieke, hiërarchische en ontrafelde dimensies, elk met op maat gemaakte prompts en evaluatiemethoden. VBench heeft verschillende aantrekkelijke eigenschappen: 1) Uitgebreide Dimensies: VBench omvat 16 dimensies in videogeneratie (bijv. inconsistentie in onderwerpidentiteit, bewegingsvloeiendheid, temporale flikkering en ruimtelijke relatie, enz.). De evaluatiemetrieken met fijnmazige niveaus onthullen de sterke en zwakke punten van individuele modellen. 2) Menselijke Afstemming: We bieden ook een dataset van menselijke voorkeursannotaties om de afstemming van onze benchmarks met menselijke perceptie te valideren, voor elke evaluatiedimensie respectievelijk. 3) Waardevolle Inzichten: We onderzoeken de huidige capaciteiten van modellen over verschillende evaluatiedimensies en verschillende inhoudstypen. We onderzoeken ook de kloven tussen video- en beeldgeneratiemodellen. 4) Veelzijdige Benchmarking: VBench++ ondersteunt het evalueren van tekst-naar-video en beeld-naar-video. We introduceren een hoogwaardige Image Suite met een aanpasbaar aspectratio om eerlijke evaluaties mogelijk te maken in verschillende beeld-naar-video generatie-instellingen. Naast het beoordelen van technische kwaliteit evalueert VBench++ ook de betrouwbaarheid van video generatieve modellen, waardoor een meer holistisch beeld van de modelprestaties ontstaat. 5) Volledige Open-Source: We maken VBench++ volledig open-source en voegen voortdurend nieuwe videogeneratiemodellen toe aan onze ranglijst om het veld van videogeneratie vooruit te helpen.

English

Video generation has witnessed significant advancements, yet evaluating these models remains a challenge. A comprehensive evaluation benchmark for video generation is indispensable for two reasons: 1) Existing metrics do not fully align with human perceptions; 2) An ideal evaluation system should provide insights to inform future developments of video generation. To this end, we present VBench, a comprehensive benchmark suite that dissects "video generation quality" into specific, hierarchical, and disentangled dimensions, each with tailored prompts and evaluation methods. VBench has several appealing properties: 1) Comprehensive Dimensions: VBench comprises 16 dimensions in video generation (e.g., subject identity inconsistency, motion smoothness, temporal flickering, and spatial relationship, etc). The evaluation metrics with fine-grained levels reveal individual models' strengths and weaknesses. 2) Human Alignment: We also provide a dataset of human preference annotations to validate our benchmarks' alignment with human perception, for each evaluation dimension respectively. 3) Valuable Insights: We look into current models' ability across various evaluation dimensions, and various content types. We also investigate the gaps between video and image generation models. 4) Versatile Benchmarking: VBench++ supports evaluating text-to-video and image-to-video. We introduce a high-quality Image Suite with an adaptive aspect ratio to enable fair evaluations across different image-to-video generation settings. Beyond assessing technical quality, VBench++ evaluates the trustworthiness of video generative models, providing a more holistic view of model performance. 5) Full Open-Sourcing: We fully open-source VBench++ and continually add new video generation models to our leaderboard to drive forward the field of video generation.