VBench++: Umfassendes und vielseitiges Benchmark-Set für Video-generative Modelle

VBench++: Comprehensive and Versatile Benchmark Suite for Video Generative Models

November 20, 2024

Autoren: Ziqi Huang, Fan Zhang, Xiaojie Xu, Yinan He, Jiashuo Yu, Ziyue Dong, Qianli Ma, Nattapol Chanpaisit, Chenyang Si, Yuming Jiang, Yaohui Wang, Xinyuan Chen, Ying-Cong Chen, Limin Wang, Dahua Lin, Yu Qiao, Ziwei Liu

cs.AI

Zusammenfassung

Die Videoerzeugung hat bedeutende Fortschritte erlebt, jedoch bleibt die Bewertung dieser Modelle eine Herausforderung. Ein umfassender Bewertungsmaßstab für die Videoerzeugung ist aus zwei Gründen unerlässlich: 1) Bestehende Metriken stimmen nicht vollständig mit menschlichen Wahrnehmungen überein; 2) Ein ideales Bewertungssystem sollte Einblicke liefern, um zukünftige Entwicklungen in der Videoerzeugung zu unterstützen. Zu diesem Zweck präsentieren wir VBench, eine umfassende Benchmark-Suite, die die "Videoerzeugungsqualität" in spezifische, hierarchische und entwirrte Dimensionen aufteilt, jede mit maßgeschneiderten Anweisungen und Bewertungsmethoden. VBench hat mehrere ansprechende Eigenschaften: 1) Umfassende Dimensionen: VBench umfasst 16 Dimensionen in der Videoerzeugung (z. B. Inkonsistenz der Subjektidentität, Bewegungsglättung, zeitliches Flimmern und räumliche Beziehung usw.). Die Bewertungsmetriken mit feingranularen Ebenen zeigen die Stärken und Schwächen einzelner Modelle auf. 2) Menschliche Ausrichtung: Wir stellen auch einen Datensatz menschlicher Präferenzannotationen bereit, um die Übereinstimmung unserer Benchmarks mit der menschlichen Wahrnehmung für jede Bewertungsdimension jeweils zu validieren. 3) Wertvolle Einblicke: Wir untersuchen die Fähigkeiten aktueller Modelle in verschiedenen Bewertungsdimensionen und verschiedenen Inhaltstypen. Wir untersuchen auch die Unterschiede zwischen Video- und Bildgenerierungsmodellen. 4) Vielseitige Bewertung: VBench++ unterstützt die Bewertung von Text-zu-Video und Bild-zu-Video. Wir führen eine hochwertige Bildsuite mit einem anpassungsfähigen Seitenverhältnis ein, um faire Bewertungen in verschiedenen Einstellungen der Bild-zu-Video-Erzeugung zu ermöglichen. Über die Bewertung der technischen Qualität hinaus bewertet VBench++ auch die Vertrauenswürdigkeit von Video-generativen Modellen und bietet einen ganzheitlicheren Blick auf die Leistung der Modelle. 5) Vollständige Open-Source: Wir stellen VBench++ vollständig als Open-Source zur Verfügung und fügen kontinuierlich neue Videoerzeugungsmodelle zu unserer Bestenliste hinzu, um das Feld der Videoerzeugung voranzutreiben.

English

Video generation has witnessed significant advancements, yet evaluating these models remains a challenge. A comprehensive evaluation benchmark for video generation is indispensable for two reasons: 1) Existing metrics do not fully align with human perceptions; 2) An ideal evaluation system should provide insights to inform future developments of video generation. To this end, we present VBench, a comprehensive benchmark suite that dissects "video generation quality" into specific, hierarchical, and disentangled dimensions, each with tailored prompts and evaluation methods. VBench has several appealing properties: 1) Comprehensive Dimensions: VBench comprises 16 dimensions in video generation (e.g., subject identity inconsistency, motion smoothness, temporal flickering, and spatial relationship, etc). The evaluation metrics with fine-grained levels reveal individual models' strengths and weaknesses. 2) Human Alignment: We also provide a dataset of human preference annotations to validate our benchmarks' alignment with human perception, for each evaluation dimension respectively. 3) Valuable Insights: We look into current models' ability across various evaluation dimensions, and various content types. We also investigate the gaps between video and image generation models. 4) Versatile Benchmarking: VBench++ supports evaluating text-to-video and image-to-video. We introduce a high-quality Image Suite with an adaptive aspect ratio to enable fair evaluations across different image-to-video generation settings. Beyond assessing technical quality, VBench++ evaluates the trustworthiness of video generative models, providing a more holistic view of model performance. 5) Full Open-Sourcing: We fully open-source VBench++ and continually add new video generation models to our leaderboard to drive forward the field of video generation.