EgoVid-5M: Een grootschalige video-actiedataset voor het genereren van egocentrische video's.

EgoVid-5M: A Large-Scale Video-Action Dataset for Egocentric Video Generation

November 13, 2024

Auteurs: Xiaofeng Wang, Kang Zhao, Feng Liu, Jiayu Wang, Guosheng Zhao, Xiaoyi Bao, Zheng Zhu, Yingya Zhang, Xingang Wang

cs.AI

Samenvatting

Videogeneratie is naar voren gekomen als een veelbelovend instrument voor wereldsimulatie, waarbij visuele gegevens worden ingezet om echte omgevingen na te bootsen. Binnen deze context heeft egocentrische videogeneratie, die zich richt op het menselijk perspectief, aanzienlijk potentieel om toepassingen in virtual reality, augmented reality en gaming te verbeteren. De generatie van egocentrische video's brengt echter aanzienlijke uitdagingen met zich mee vanwege de dynamische aard van egocentrische gezichtspunten, de complexe diversiteit van handelingen en de gevarieerde scènes die worden aangetroffen. Bestaande datasets zijn ontoereikend om deze uitdagingen effectief aan te pakken. Om deze kloof te overbruggen, presenteren we EgoVid-5M, het eerste hoogwaardige dataset specifiek samengesteld voor egocentrische videogeneratie. EgoVid-5M omvat 5 miljoen egocentrische videoclips en is verrijkt met gedetailleerde actie-annotaties, waaronder fijnmazige kinematische controle en hoogwaardige tekstuele beschrijvingen. Om de integriteit en bruikbaarheid van de dataset te waarborgen, implementeren we een geavanceerde gegevensreinigingspipeline die is ontworpen om frameconsistentie, actiecoherentie en bewegingssmoothness onder egocentrische omstandigheden te handhaven. Bovendien introduceren we EgoDreamer, die in staat is om egocentrische video's te genereren die gelijktijdig worden aangestuurd door actiebeschrijvingen en kinematische controle signalen. De EgoVid-5M dataset, bijbehorende actie-annotaties en alle gegevensreinigingsmetadata zullen worden vrijgegeven ter bevordering van onderzoek op het gebied van egocentrische videogeneratie.

English

Video generation has emerged as a promising tool for world simulation, leveraging visual data to replicate real-world environments. Within this context, egocentric video generation, which centers on the human perspective, holds significant potential for enhancing applications in virtual reality, augmented reality, and gaming. However, the generation of egocentric videos presents substantial challenges due to the dynamic nature of egocentric viewpoints, the intricate diversity of actions, and the complex variety of scenes encountered. Existing datasets are inadequate for addressing these challenges effectively. To bridge this gap, we present EgoVid-5M, the first high-quality dataset specifically curated for egocentric video generation. EgoVid-5M encompasses 5 million egocentric video clips and is enriched with detailed action annotations, including fine-grained kinematic control and high-level textual descriptions. To ensure the integrity and usability of the dataset, we implement a sophisticated data cleaning pipeline designed to maintain frame consistency, action coherence, and motion smoothness under egocentric conditions. Furthermore, we introduce EgoDreamer, which is capable of generating egocentric videos driven simultaneously by action descriptions and kinematic control signals. The EgoVid-5M dataset, associated action annotations, and all data cleansing metadata will be released for the advancement of research in egocentric video generation.