Guida di Salto Spazio-Temporale per un Campionamento Migliorato della Diffusione Video

Spatiotemporal Skip Guidance for Enhanced Video Diffusion Sampling

November 27, 2024

Autori: Junha Hyung, Kinam Kim, Susung Hong, Min-Jung Kim, Jaegul Choo

cs.AI

Abstract

I modelli di diffusione sono emersi come uno strumento potente per generare immagini, video e contenuti 3D di alta qualità. Mentre le tecniche di guida del campionamento come CFG migliorano la qualità, riducono la diversità e il movimento. L'autoguida mitiga questi problemi ma richiede un addestramento aggiuntivo del modello debole, limitando la sua praticità per modelli su larga scala. In questo lavoro, presentiamo Spatiotemporal Skip Guidance (STG), un semplice metodo di guida del campionamento privo di addestramento per migliorare i modelli di diffusione video basati su trasformatori. STG impiega un modello debole implicito tramite auto-perturbazione, evitando la necessità di modelli esterni o addestramenti aggiuntivi. Saltando selettivamente strati spaziotemporali, STG produce una versione allineata e degradata del modello originale per potenziare la qualità del campione senza compromettere la diversità o il grado dinamico. I nostri contributi includono: (1) l'introduzione di STG come tecnica di guida efficiente e ad alte prestazioni per i modelli di diffusione video, (2) l'eliminazione della necessità di modelli ausiliari simulando un modello debole attraverso lo skipping degli strati e (3) garantendo una guida potenziata di qualità senza compromettere la diversità o la dinamica del campione come nel caso di CFG. Per ulteriori risultati, visita https://junhahyung.github.io/STGuidance.

English

Diffusion models have emerged as a powerful tool for generating high-quality images, videos, and 3D content. While sampling guidance techniques like CFG improve quality, they reduce diversity and motion. Autoguidance mitigates these issues but demands extra weak model training, limiting its practicality for large-scale models. In this work, we introduce Spatiotemporal Skip Guidance (STG), a simple training-free sampling guidance method for enhancing transformer-based video diffusion models. STG employs an implicit weak model via self-perturbation, avoiding the need for external models or additional training. By selectively skipping spatiotemporal layers, STG produces an aligned, degraded version of the original model to boost sample quality without compromising diversity or dynamic degree. Our contributions include: (1) introducing STG as an efficient, high-performing guidance technique for video diffusion models, (2) eliminating the need for auxiliary models by simulating a weak model through layer skipping, and (3) ensuring quality-enhanced guidance without compromising sample diversity or dynamics unlike CFG. For additional results, visit https://junhahyung.github.io/STGuidance.