VideoAuteur: Rumo à Geração de Vídeos com Narrativas Longas

VideoAuteur: Towards Long Narrative Video Generation

January 10, 2025

Autores: Junfei Xiao, Feng Cheng, Lu Qi, Liangke Gui, Jiepeng Cen, Zhibei Ma, Alan Yuille, Lu Jiang

cs.AI

Resumo

Modelos recentes de geração de vídeo têm demonstrado resultados promissores na produção de videoclipes de alta qualidade com duração de vários segundos. No entanto, esses modelos enfrentam desafios na geração de sequências longas que transmitam eventos claros e informativos, limitando sua capacidade de suportar narrativas coerentes. Neste artigo, apresentamos um conjunto de dados de vídeos de culinária em larga escala projetado para avançar na geração de narrativas de longa duração no domínio da culinária. Validamos a qualidade do nosso conjunto de dados proposto em termos de fidelidade visual e precisão de legendas textuais usando Modelos de Visão-Linguagem (VLMs) de ponta e modelos de geração de vídeo, respectivamente. Além disso, introduzimos um Diretor de Vídeo de Narrativa Longa para aprimorar tanto a coerência visual quanto semântica em vídeos gerados e enfatizamos o papel de alinhar incorporações visuais para obter uma qualidade geral de vídeo aprimorada. Nosso método demonstra melhorias substanciais na geração de keyframes visualmente detalhados e semanticamente alinhados, suportados por técnicas de ajuste fino que integram incorporações de texto e imagem no processo de geração de vídeo. Página do projeto: https://videoauteur.github.io/

English

Recent video generation models have shown promising results in producing high-quality video clips lasting several seconds. However, these models face challenges in generating long sequences that convey clear and informative events, limiting their ability to support coherent narrations. In this paper, we present a large-scale cooking video dataset designed to advance long-form narrative generation in the cooking domain. We validate the quality of our proposed dataset in terms of visual fidelity and textual caption accuracy using state-of-the-art Vision-Language Models (VLMs) and video generation models, respectively. We further introduce a Long Narrative Video Director to enhance both visual and semantic coherence in generated videos and emphasize the role of aligning visual embeddings to achieve improved overall video quality. Our method demonstrates substantial improvements in generating visually detailed and semantically aligned keyframes, supported by finetuning techniques that integrate text and image embeddings within the video generation process. Project page: https://videoauteur.github.io/