VBench-2.0: Weiterentwicklung der Benchmark-Suite für die Videogenerierung zur intrinsischen Authentizität

VBench-2.0: Advancing Video Generation Benchmark Suite for Intrinsic Faithfulness

March 27, 2025

Autoren: Dian Zheng, Ziqi Huang, Hongbo Liu, Kai Zou, Yinan He, Fan Zhang, Yuanhan Zhang, Jingwen He, Wei-Shi Zheng, Yu Qiao, Ziwei Liu

cs.AI

Zusammenfassung

Die Videogenerierung hat sich erheblich weiterentwickelt und ist von der Erzeugung unrealistischer Ergebnisse zur Generierung visuell überzeugender und zeitlich kohärenter Videos fortgeschritten. Um diese videogenerativen Modelle zu bewerten, wurden Benchmarks wie VBench entwickelt, die deren Treue messen, indem Faktoren wie die Ästhetik pro Frame, zeitliche Konsistenz und grundlegende Prompt-Einhaltung bewertet werden. Diese Aspekte repräsentieren jedoch hauptsächlich oberflächliche Treue, die sich darauf konzentrieren, ob das Video visuell überzeugend erscheint, anstatt ob es den Prinzipien der realen Welt entspricht. Während aktuelle Modelle bei diesen Metriken zunehmend gut abschneiden, haben sie immer noch Schwierigkeiten, Videos zu generieren, die nicht nur visuell plausibel, sondern grundlegend realistisch sind. Um echte „Weltmodelle“ durch Videogenerierung zu erreichen, liegt die nächste Herausforderung in der intrinsischen Treue, um sicherzustellen, dass generierte Videos physikalischen Gesetzen, gesundem Menschenverstand, anatomischer Korrektheit und kompositorischer Integrität entsprechen. Die Erreichung dieses Realismusgrades ist entscheidend für Anwendungen wie KI-gestütztes Filmemachen und simulierte Weltmodellierung. Um diese Lücke zu schließen, stellen wir VBench-2.0 vor, einen Benchmark der nächsten Generation, der entwickelt wurde, um videogenerative Modelle automatisch auf ihre intrinsische Treue hin zu bewerten. VBench-2.0 bewertet fünf Schlüsseldimensionen: Menschliche Treue, Steuerbarkeit, Kreativität, Physik und gesunder Menschenverstand, die jeweils in fein abgestufte Fähigkeiten unterteilt sind. Unser Bewertungsrahmen, der auf individuelle Dimensionen zugeschnitten ist, integriert Generalisten wie state-of-the-art VLMs und LLMs sowie Spezialisten, einschließlich Anomalieerkennungsmethoden, die für die Videogenerierung vorgeschlagen wurden. Wir führen umfangreiche Annotationen durch, um die Übereinstimmung mit menschlichen Urteilen sicherzustellen. Indem VBench-2.0 über oberflächliche Treue hinaus zur intrinsischen Treue vorstößt, zielt es darauf ab, einen neuen Standard für die nächste Generation videogenerativer Modelle im Streben nach intrinsischer Treue zu setzen.

English

Video generation has advanced significantly, evolving from producing unrealistic outputs to generating videos that appear visually convincing and temporally coherent. To evaluate these video generative models, benchmarks such as VBench have been developed to assess their faithfulness, measuring factors like per-frame aesthetics, temporal consistency, and basic prompt adherence. However, these aspects mainly represent superficial faithfulness, which focus on whether the video appears visually convincing rather than whether it adheres to real-world principles. While recent models perform increasingly well on these metrics, they still struggle to generate videos that are not just visually plausible but fundamentally realistic. To achieve real "world models" through video generation, the next frontier lies in intrinsic faithfulness to ensure that generated videos adhere to physical laws, commonsense reasoning, anatomical correctness, and compositional integrity. Achieving this level of realism is essential for applications such as AI-assisted filmmaking and simulated world modeling. To bridge this gap, we introduce VBench-2.0, a next-generation benchmark designed to automatically evaluate video generative models for their intrinsic faithfulness. VBench-2.0 assesses five key dimensions: Human Fidelity, Controllability, Creativity, Physics, and Commonsense, each further broken down into fine-grained capabilities. Tailored for individual dimensions, our evaluation framework integrates generalists such as state-of-the-art VLMs and LLMs, and specialists, including anomaly detection methods proposed for video generation. We conduct extensive annotations to ensure alignment with human judgment. By pushing beyond superficial faithfulness toward intrinsic faithfulness, VBench-2.0 aims to set a new standard for the next generation of video generative models in pursuit of intrinsic faithfulness.