VBench-2.0: Avanzamento della Suite di Benchmark per la Generazione Video verso la Fedeltà Intrinseca

VBench-2.0: Advancing Video Generation Benchmark Suite for Intrinsic Faithfulness

March 27, 2025

Autori: Dian Zheng, Ziqi Huang, Hongbo Liu, Kai Zou, Yinan He, Fan Zhang, Yuanhan Zhang, Jingwen He, Wei-Shi Zheng, Yu Qiao, Ziwei Liu

cs.AI

Abstract

La generazione di video ha compiuto progressi significativi, evolvendosi dalla produzione di output irrealistici alla creazione di video visivamente convincenti e temporalmente coerenti. Per valutare questi modelli generativi di video, sono stati sviluppati benchmark come VBench, progettati per valutarne la fedeltà, misurando fattori come l'estetica per fotogramma, la coerenza temporale e l'aderenza di base al prompt. Tuttavia, questi aspetti rappresentano principalmente una fedeltà superficiale, che si concentra sul fatto che il video appaia visivamente convincente piuttosto che sul fatto che rispetti i principi del mondo reale. Sebbene i modelli recenti ottengano risultati sempre migliori su queste metriche, continuano a faticare nel generare video che non siano solo visibilmente plausibili, ma fondamentalmente realistici. Per raggiungere veri e propri "modelli del mondo" attraverso la generazione di video, la prossima frontiera risiede nella fedeltà intrinseca, per garantire che i video generati rispettino le leggi fisiche, il ragionamento di buon senso, la correttezza anatomica e l'integrità compositiva. Raggiungere questo livello di realismo è essenziale per applicazioni come la produzione cinematografica assistita dall'IA e la modellazione di mondi simulati. Per colmare questa lacuna, introduciamo VBench-2.0, un benchmark di nuova generazione progettato per valutare automaticamente i modelli generativi di video in termini di fedeltà intrinseca. VBench-2.0 valuta cinque dimensioni chiave: Fedeltà Umana, Controllabilità, Creatività, Fisica e Buon Senso, ciascuna ulteriormente suddivisa in capacità più dettagliate. Personalizzato per le singole dimensioni, il nostro framework di valutazione integra generalisti come i migliori VLMs e LLMs, e specialisti, inclusi metodi di rilevamento delle anomalie proposti per la generazione di video. Effettuiamo annotazioni estese per garantire l'allineamento con il giudizio umano. Spingendosi oltre la fedeltà superficiale verso quella intrinseca, VBench-2.0 mira a stabilire un nuovo standard per la prossima generazione di modelli generativi di video, perseguendo la fedeltà intrinseca.

English

Video generation has advanced significantly, evolving from producing unrealistic outputs to generating videos that appear visually convincing and temporally coherent. To evaluate these video generative models, benchmarks such as VBench have been developed to assess their faithfulness, measuring factors like per-frame aesthetics, temporal consistency, and basic prompt adherence. However, these aspects mainly represent superficial faithfulness, which focus on whether the video appears visually convincing rather than whether it adheres to real-world principles. While recent models perform increasingly well on these metrics, they still struggle to generate videos that are not just visually plausible but fundamentally realistic. To achieve real "world models" through video generation, the next frontier lies in intrinsic faithfulness to ensure that generated videos adhere to physical laws, commonsense reasoning, anatomical correctness, and compositional integrity. Achieving this level of realism is essential for applications such as AI-assisted filmmaking and simulated world modeling. To bridge this gap, we introduce VBench-2.0, a next-generation benchmark designed to automatically evaluate video generative models for their intrinsic faithfulness. VBench-2.0 assesses five key dimensions: Human Fidelity, Controllability, Creativity, Physics, and Commonsense, each further broken down into fine-grained capabilities. Tailored for individual dimensions, our evaluation framework integrates generalists such as state-of-the-art VLMs and LLMs, and specialists, including anomaly detection methods proposed for video generation. We conduct extensive annotations to ensure alignment with human judgment. By pushing beyond superficial faithfulness toward intrinsic faithfulness, VBench-2.0 aims to set a new standard for the next generation of video generative models in pursuit of intrinsic faithfulness.