^RFLAV: Rolling Flow Matching für die unendliche Audio-Video-Generierung

^RFLAV: Rolling Flow matching for infinite Audio Video generation

March 11, 2025

Autoren: Alex Ergasti, Giuseppe Gabriele Tarollo, Filippo Botti, Tomaso Fontanini, Claudio Ferrari, Massimo Bertozzi, Andrea Prati

cs.AI

Zusammenfassung

Die gemeinsame Audio-Video (AV)-Generierung bleibt eine erhebliche Herausforderung in der generativen KI, hauptsächlich aufgrund von drei kritischen Anforderungen: der Qualität der generierten Samples, der nahtlosen multimodalen Synchronisation und zeitlichen Kohärenz, bei der Audiospuren zu den visuellen Daten passen und umgekehrt, sowie der unbegrenzten Videodauer. In diesem Artikel präsentieren wir eine neuartige Transformer-basierte Architektur, die alle wesentlichen Herausforderungen der AV-Generierung adressiert. Wir untersuchen drei verschiedene Cross-Modality-Interaktionsmodule, wobei unser leichtgewichtiges temporales Fusionsmodul als der effektivste und recheneffizienteste Ansatz zur Ausrichtung von Audio- und visuellen Modalitäten hervorgeht. Unsere experimentellen Ergebnisse zeigen, dass bestehende state-of-the-art Modelle in multimodalen AV-Generierungsaufgaben übertroffen werden. Unser Code und unsere Checkpoints sind unter https://github.com/ErgastiAlex/R-FLAV verfügbar.

English

Joint audio-video (AV) generation is still a significant challenge in generative AI, primarily due to three critical requirements: quality of the generated samples, seamless multimodal synchronization and temporal coherence, with audio tracks that match the visual data and vice versa, and limitless video duration. In this paper, we present , a novel transformer-based architecture that addresses all the key challenges of AV generation. We explore three distinct cross modality interaction modules, with our lightweight temporal fusion module emerging as the most effective and computationally efficient approach for aligning audio and visual modalities. Our experimental results demonstrate that outperforms existing state-of-the-art models in multimodal AV generation tasks. Our code and checkpoints are available at https://github.com/ErgastiAlex/R-FLAV.