VBench++: Suite di benchmark completa e versatile per modelli generativi di video

VBench++: Comprehensive and Versatile Benchmark Suite for Video Generative Models

November 20, 2024

Autori: Ziqi Huang, Fan Zhang, Xiaojie Xu, Yinan He, Jiashuo Yu, Ziyue Dong, Qianli Ma, Nattapol Chanpaisit, Chenyang Si, Yuming Jiang, Yaohui Wang, Xinyuan Chen, Ying-Cong Chen, Limin Wang, Dahua Lin, Yu Qiao, Ziwei Liu

cs.AI

Abstract

La generazione di video ha visto significativi progressi, tuttavia valutare questi modelli rimane una sfida. Un benchmark completo per la valutazione della generazione di video è indispensabile per due motivi: 1) Le metriche esistenti non si allineano pienamente alle percezioni umane; 2) Un sistema di valutazione ideale dovrebbe fornire spunti per orientare lo sviluppo futuro della generazione di video. A questo scopo, presentiamo VBench, una suite di benchmark completa che scompone la "qualità della generazione di video" in dimensioni specifiche, gerarchiche e disentangled, ciascuna con prompt su misura e metodi di valutazione. VBench ha diverse proprietà interessanti: 1) Dimensioni Complete: VBench comprende 16 dimensioni nella generazione di video (ad esempio, inconsistenza dell'identità del soggetto, fluidità del movimento, sfarfallio temporale, e relazione spaziale, ecc.). Le metriche di valutazione con livelli dettagliati rivelano punti di forza e debolezza dei singoli modelli. 2) Allineamento Umano: Forniamo anche un dataset di annotazioni di preferenze umane per convalidare l'allineamento dei nostri benchmark con la percezione umana, per ciascuna dimensione di valutazione rispettivamente. 3) Spunti Preziosi: Esaminiamo la capacità dei modelli attuali attraverso varie dimensioni di valutazione e vari tipi di contenuto. Esaminiamo anche le differenze tra i modelli di generazione di video e immagini. 4) Benchmarking Versatile: VBench++ supporta la valutazione da testo a video e da immagine a video. Presentiamo una Suite di Immagini di alta qualità con un rapporto d'aspetto adattivo per consentire valutazioni equilibrate tra diverse impostazioni di generazione di immagini a video. Oltre alla valutazione della qualità tecnica, VBench++ valuta l'affidabilità dei modelli generativi di video, fornendo una visione più olistica delle prestazioni del modello. 5) Completamente Open Source: Rendiamo completamente open source VBench++ e continuiamo ad aggiungere nuovi modelli di generazione di video alla nostra classifica per far progredire il campo della generazione di video.

English

Video generation has witnessed significant advancements, yet evaluating these models remains a challenge. A comprehensive evaluation benchmark for video generation is indispensable for two reasons: 1) Existing metrics do not fully align with human perceptions; 2) An ideal evaluation system should provide insights to inform future developments of video generation. To this end, we present VBench, a comprehensive benchmark suite that dissects "video generation quality" into specific, hierarchical, and disentangled dimensions, each with tailored prompts and evaluation methods. VBench has several appealing properties: 1) Comprehensive Dimensions: VBench comprises 16 dimensions in video generation (e.g., subject identity inconsistency, motion smoothness, temporal flickering, and spatial relationship, etc). The evaluation metrics with fine-grained levels reveal individual models' strengths and weaknesses. 2) Human Alignment: We also provide a dataset of human preference annotations to validate our benchmarks' alignment with human perception, for each evaluation dimension respectively. 3) Valuable Insights: We look into current models' ability across various evaluation dimensions, and various content types. We also investigate the gaps between video and image generation models. 4) Versatile Benchmarking: VBench++ supports evaluating text-to-video and image-to-video. We introduce a high-quality Image Suite with an adaptive aspect ratio to enable fair evaluations across different image-to-video generation settings. Beyond assessing technical quality, VBench++ evaluates the trustworthiness of video generative models, providing a more holistic view of model performance. 5) Full Open-Sourcing: We fully open-source VBench++ and continually add new video generation models to our leaderboard to drive forward the field of video generation.