VideoAuteur: Auf dem Weg zur Generierung von langen narrativen Videos

VideoAuteur: Towards Long Narrative Video Generation

January 10, 2025

Autoren: Junfei Xiao, Feng Cheng, Lu Qi, Liangke Gui, Jiepeng Cen, Zhibei Ma, Alan Yuille, Lu Jiang

cs.AI

Zusammenfassung

Aktuelle Videogenerierungsmodelle haben vielversprechende Ergebnisse bei der Erstellung hochwertiger Videoclips von mehreren Sekunden Dauer gezeigt. Diese Modelle stehen jedoch vor Herausforderungen bei der Generierung langer Sequenzen, die klare und informative Ereignisse vermitteln und somit ihre Fähigkeit zur Unterstützung kohärenter Erzählungen einschränken. In diesem Artikel präsentieren wir einen umfangreichen Kochvideo-Datensatz, der darauf abzielt, die Generierung von Langform-Erzählungen im Kochbereich voranzutreiben. Wir validieren die Qualität unseres vorgeschlagenen Datensatzes in Bezug auf visuelle Treue und textuelle Bildunterschriften-Genauigkeit unter Verwendung modernster Vision-Language-Modelle (VLMs) bzw. Videogenerierungsmodelle. Darüber hinaus stellen wir einen Langen Narrativen Video-Regisseur vor, um sowohl die visuelle als auch semantische Kohärenz in generierten Videos zu verbessern und betonen die Bedeutung der Ausrichtung visueller Einbettungen zur Erzielung einer verbesserten Gesamtvidequalität. Unsere Methode zeigt signifikante Verbesserungen bei der Generierung visuell detaillierter und semantisch ausgerichteter Keyframes auf, unterstützt durch Feinabstimmungstechniken, die Text- und Bildeinbettungen innerhalb des Videogenerierungsprozesses integrieren. Projektseite: https://videoauteur.github.io/

English

Recent video generation models have shown promising results in producing high-quality video clips lasting several seconds. However, these models face challenges in generating long sequences that convey clear and informative events, limiting their ability to support coherent narrations. In this paper, we present a large-scale cooking video dataset designed to advance long-form narrative generation in the cooking domain. We validate the quality of our proposed dataset in terms of visual fidelity and textual caption accuracy using state-of-the-art Vision-Language Models (VLMs) and video generation models, respectively. We further introduce a Long Narrative Video Director to enhance both visual and semantic coherence in generated videos and emphasize the role of aligning visual embeddings to achieve improved overall video quality. Our method demonstrates substantial improvements in generating visually detailed and semantically aligned keyframes, supported by finetuning techniques that integrate text and image embeddings within the video generation process. Project page: https://videoauteur.github.io/