Tuning-freie Erzeugung langer Videos mit mehreren Ereignissen durch synchronisiertes gekoppeltes Sampling

Tuning-Free Multi-Event Long Video Generation via Synchronized Coupled Sampling

March 11, 2025

Autoren: Subin Kim, Seoung Wug Oh, Jui-Hsien Wang, Joon-Young Lee, Jinwoo Shin

cs.AI

Zusammenfassung

Während jüngste Fortschritte in Text-zu-Video-Diffusionsmodellen die Erzeugung hochwertiger Kurzvideos aus einer einzigen Eingabe ermöglichen, bleibt die Generierung realitätsnaher langer Videos in einem Durchgang aufgrund begrenzter Daten und hoher Rechenkosten eine Herausforderung. Um dies zu bewältigen, schlagen mehrere Arbeiten tuningfreie Ansätze vor, d. h. die Erweiterung bestehender Modelle für die Generierung langer Videos, insbesondere durch die Verwendung mehrerer Eingaben, um dynamische und kontrollierte Inhaltsänderungen zu ermöglichen. Diese Methoden konzentrieren sich jedoch hauptsächlich darauf, fließende Übergänge zwischen benachbarten Bildern zu gewährleisten, was oft zu einer inhaltlichen Abweichung und einem allmählichen Verlust der semantischen Kohärenz über längere Sequenzen führt. Um dieses Problem zu lösen, schlagen wir Synchronized Coupled Sampling (SynCoS) vor, ein neuartiges Inferenzframework, das die Denoising-Pfade über das gesamte Video hinweg synchronisiert und so eine langfristige Konsistenz sowohl zwischen benachbarten als auch entfernten Bildern sicherstellt. Unser Ansatz kombiniert zwei komplementäre Sampling-Strategien: Reverse Sampling und optimierungsbasiertes Sampling, die nahtlose lokale Übergänge bzw. globale Kohärenz gewährleisten. Ein direktes Wechseln zwischen diesen Samplings führt jedoch zu einer Fehlausrichtung der Denoising-Pfade, stört die Eingabesteuerung und führt zu unbeabsichtigten Inhaltsänderungen, da sie unabhängig voneinander arbeiten. Um dies zu beheben, synchronisiert SynCoS sie durch einen festgelegten Zeitschritt und ein festes Basisrauschen, wodurch ein vollständig gekoppeltes Sampling mit ausgerichteten Denoising-Pfaden sichergestellt wird. Umfangreiche Experimente zeigen, dass SynCoS die Generierung langer Videos mit mehreren Ereignissen erheblich verbessert, flüssigere Übergänge und eine überlegene langfristige Kohärenz erreicht und bisherige Ansätze sowohl quantitativ als auch qualitativ übertrifft.

English

While recent advancements in text-to-video diffusion models enable high-quality short video generation from a single prompt, generating real-world long videos in a single pass remains challenging due to limited data and high computational costs. To address this, several works propose tuning-free approaches, i.e., extending existing models for long video generation, specifically using multiple prompts to allow for dynamic and controlled content changes. However, these methods primarily focus on ensuring smooth transitions between adjacent frames, often leading to content drift and a gradual loss of semantic coherence over longer sequences. To tackle such an issue, we propose Synchronized Coupled Sampling (SynCoS), a novel inference framework that synchronizes denoising paths across the entire video, ensuring long-range consistency across both adjacent and distant frames. Our approach combines two complementary sampling strategies: reverse and optimization-based sampling, which ensure seamless local transitions and enforce global coherence, respectively. However, directly alternating between these samplings misaligns denoising trajectories, disrupting prompt guidance and introducing unintended content changes as they operate independently. To resolve this, SynCoS synchronizes them through a grounded timestep and a fixed baseline noise, ensuring fully coupled sampling with aligned denoising paths. Extensive experiments show that SynCoS significantly improves multi-event long video generation, achieving smoother transitions and superior long-range coherence, outperforming previous approaches both quantitatively and qualitatively.