EgoVid-5M: Ein umfangreiches Videoaktionsdatenset für die Generierung von egozentrischen Videos

EgoVid-5M: A Large-Scale Video-Action Dataset for Egocentric Video Generation

November 13, 2024

Autoren: Xiaofeng Wang, Kang Zhao, Feng Liu, Jiayu Wang, Guosheng Zhao, Xiaoyi Bao, Zheng Zhu, Yingya Zhang, Xingang Wang

cs.AI

Zusammenfassung

Die Videogenerierung hat sich als ein vielversprechendes Werkzeug für die Weltsimulation herauskristallisiert, das visuelle Daten nutzt, um reale Umgebungen nachzubilden. Innerhalb dieses Kontextes birgt die egozentrische Videogenerierung, die sich auf die menschliche Perspektive konzentriert, ein erhebliches Potenzial zur Verbesserung von Anwendungen in der virtuellen Realität, der erweiterten Realität und im Gaming. Die Generierung von egozentrischen Videos stellt jedoch aufgrund der dynamischen Natur egozentrischer Blickwinkel, der komplexen Vielfalt von Handlungen und der Vielzahl von Szenen, auf die man trifft, erhebliche Herausforderungen dar. Bestehende Datensätze sind unzureichend, um diese Herausforderungen effektiv anzugehen. Um diese Lücke zu schließen, präsentieren wir EgoVid-5M, den ersten hochwertigen Datensatz, der speziell für die egozentrische Videogenerierung kuratiert wurde. EgoVid-5M umfasst 5 Millionen egozentrische Videoclips und ist angereichert mit detaillierten Aktionsannotationen, einschließlich feinkörniger kinematischer Steuerung und hochrangiger textueller Beschreibungen. Um die Integrität und Nutzbarkeit des Datensatzes sicherzustellen, implementieren wir eine ausgeklügelte Datenbereinigungspipeline, die darauf ausgelegt ist, die Rahmenkonsistenz, die Aktionskohärenz und die Bewegungsglättung unter egozentrischen Bedingungen aufrechtzuerhalten. Darüber hinaus stellen wir EgoDreamer vor, der in der Lage ist, egozentrische Videos gleichzeitig durch Aktionsbeschreibungen und kinematische Steuersignale zu generieren. Der EgoVid-5M Datensatz, die zugehörigen Aktionsannotationen und alle Metadaten zur Datenbereinigung werden zur Förderung der Forschung im Bereich der egozentrischen Videogenerierung veröffentlicht.

English

Video generation has emerged as a promising tool for world simulation, leveraging visual data to replicate real-world environments. Within this context, egocentric video generation, which centers on the human perspective, holds significant potential for enhancing applications in virtual reality, augmented reality, and gaming. However, the generation of egocentric videos presents substantial challenges due to the dynamic nature of egocentric viewpoints, the intricate diversity of actions, and the complex variety of scenes encountered. Existing datasets are inadequate for addressing these challenges effectively. To bridge this gap, we present EgoVid-5M, the first high-quality dataset specifically curated for egocentric video generation. EgoVid-5M encompasses 5 million egocentric video clips and is enriched with detailed action annotations, including fine-grained kinematic control and high-level textual descriptions. To ensure the integrity and usability of the dataset, we implement a sophisticated data cleaning pipeline designed to maintain frame consistency, action coherence, and motion smoothness under egocentric conditions. Furthermore, we introduce EgoDreamer, which is capable of generating egocentric videos driven simultaneously by action descriptions and kinematic control signals. The EgoVid-5M dataset, associated action annotations, and all data cleansing metadata will be released for the advancement of research in egocentric video generation.