VideoAuteur: Vers la génération de vidéos à long récit

VideoAuteur: Towards Long Narrative Video Generation

January 10, 2025

Autori: Junfei Xiao, Feng Cheng, Lu Qi, Liangke Gui, Jiepeng Cen, Zhibei Ma, Alan Yuille, Lu Jiang

cs.AI

Abstract

I modelli di generazione video recenti hanno mostrato risultati promettenti nella produzione di clip video di alta qualità della durata di diversi secondi. Tuttavia, questi modelli affrontano sfide nella generazione di lunghe sequenze che trasmettono eventi chiari e informativi, limitando la loro capacità di supportare narrazioni coerenti. In questo articolo, presentiamo un dataset di video di cucina su larga scala progettato per far progredire la generazione di narrazioni di lunga durata nel settore culinario. Convalidiamo la qualità del nostro dataset proposto in termini di fedeltà visiva e accuratezza della didascalia testuale utilizzando i modelli Vision-Language (VLM) all'avanguardia e i modelli di generazione video, rispettivamente. Introduciamo inoltre un Direttore Video di Narrativa Lunga per migliorare sia la coerenza visiva che semantica nei video generati e sottolineare il ruolo dell'allineamento degli embedding visivi per ottenere una qualità video complessiva migliorata. Il nostro metodo dimostra miglioramenti sostanziali nella generazione di keyframe dettagliati visivamente e semanticamente allineati, supportati da tecniche di fine-tuning che integrano embedding di testo e immagine all'interno del processo di generazione video. Pagina del progetto: https://videoauteur.github.io/

English

Recent video generation models have shown promising results in producing high-quality video clips lasting several seconds. However, these models face challenges in generating long sequences that convey clear and informative events, limiting their ability to support coherent narrations. In this paper, we present a large-scale cooking video dataset designed to advance long-form narrative generation in the cooking domain. We validate the quality of our proposed dataset in terms of visual fidelity and textual caption accuracy using state-of-the-art Vision-Language Models (VLMs) and video generation models, respectively. We further introduce a Long Narrative Video Director to enhance both visual and semantic coherence in generated videos and emphasize the role of aligning visual embeddings to achieve improved overall video quality. Our method demonstrates substantial improvements in generating visually detailed and semantically aligned keyframes, supported by finetuning techniques that integrate text and image embeddings within the video generation process. Project page: https://videoauteur.github.io/