VBench++: 비디오 생성 모델을 위한 포괄적이고 다재다능한 벤치마크 스위트

VBench++: Comprehensive and Versatile Benchmark Suite for Video Generative Models

November 20, 2024

저자: Ziqi Huang, Fan Zhang, Xiaojie Xu, Yinan He, Jiashuo Yu, Ziyue Dong, Qianli Ma, Nattapol Chanpaisit, Chenyang Si, Yuming Jiang, Yaohui Wang, Xinyuan Chen, Ying-Cong Chen, Limin Wang, Dahua Lin, Yu Qiao, Ziwei Liu

cs.AI

초록

비디오 생성 기술은 상당한 발전을 이루었지만, 이러한 모델을 평가하는 것은 여전히 어려운 과제입니다. 비디오 생성에 대한 포괄적인 평가 기준은 두 가지 이유로 필수적입니다: 1) 기존 메트릭이 인간의 지각과 완전히 일치하지 않기 때문입니다. 2) 이상적인 평가 시스템은 비디오 생성의 미래 발전에 대한 통찰을 제공해야 합니다. 이를 위해 "비디오 생성 품질"을 구체적이고 계층적이며 분리된 차원으로 분해하는 포괄적인 벤치마크 스위트인 VBench를 제안합니다. 각 차원은 맞춤형 프롬프트와 평가 방법을 갖추고 있습니다. VBench는 몇 가지 매력적인 특성을 갖고 있습니다: 1) 포괄적인 차원: VBench는 비디오 생성의 16가지 차원(예: 주체 신원 불일치, 움직임 부드러움, 시간적 깜빡임, 공간적 관계 등)으로 구성되어 있습니다. 세밀한 수준의 평가 메트릭은 개별 모델의 강점과 약점을 드러냅니다. 2) 인간과의 일치: 우리는 각 평가 차원에 대한 인간 선호 주석 데이터셋을 제공하여 우리의 벤치마크가 인간 지각과 일치하는지를 검증합니다. 3) 가치 있는 통찰: 우리는 현재 모델의 다양한 평가 차원 및 콘텐츠 유형에 걸친 능력을 살펴보며, 비디오와 이미지 생성 모델 간의 간극을 조사합니다. 4) 다재다능한 벤치마킹: VBench++는 텍스트에서 비디오 및 이미지에서 비디오로의 평가를 지원합니다. 다양한 이미지에서 비디오 생성 설정 간의 공정한 평가를 위해 적응형 종횡비를 갖춘 고품질 이미지 스위트를 소개합니다. 기술적 품질을 평가하는 것을 넘어, VBench++는 비디오 생성 모델의 신뢰성을 평가하여 모델 성능에 대한 종합적인 시각을 제공합니다. 5) 완전한 오픈 소스: 우리는 VBench++를 완전히 오픈 소스로 제공하고 비디오 생성 분야를 발전시키기 위해 지속적으로 새로운 비디오 생성 모델을 리더보드에 추가합니다.

English

Video generation has witnessed significant advancements, yet evaluating these models remains a challenge. A comprehensive evaluation benchmark for video generation is indispensable for two reasons: 1) Existing metrics do not fully align with human perceptions; 2) An ideal evaluation system should provide insights to inform future developments of video generation. To this end, we present VBench, a comprehensive benchmark suite that dissects "video generation quality" into specific, hierarchical, and disentangled dimensions, each with tailored prompts and evaluation methods. VBench has several appealing properties: 1) Comprehensive Dimensions: VBench comprises 16 dimensions in video generation (e.g., subject identity inconsistency, motion smoothness, temporal flickering, and spatial relationship, etc). The evaluation metrics with fine-grained levels reveal individual models' strengths and weaknesses. 2) Human Alignment: We also provide a dataset of human preference annotations to validate our benchmarks' alignment with human perception, for each evaluation dimension respectively. 3) Valuable Insights: We look into current models' ability across various evaluation dimensions, and various content types. We also investigate the gaps between video and image generation models. 4) Versatile Benchmarking: VBench++ supports evaluating text-to-video and image-to-video. We introduce a high-quality Image Suite with an adaptive aspect ratio to enable fair evaluations across different image-to-video generation settings. Beyond assessing technical quality, VBench++ evaluates the trustworthiness of video generative models, providing a more holistic view of model performance. 5) Full Open-Sourcing: We fully open-source VBench++ and continually add new video generation models to our leaderboard to drive forward the field of video generation.