TPDiff: Temporales Pyramiden-Video-Diffusionsmodell

TPDiff: Temporal Pyramid Video Diffusion Model

March 12, 2025

Autoren: Lingmin Ran, Mike Zheng Shou

cs.AI

Zusammenfassung

Die Entwicklung von Video-Diffusionsmodellen offenbart eine erhebliche Herausforderung: den enormen Rechenaufwand. Um dieser Herausforderung zu begegnen, stellen wir fest, dass der umgekehrte Prozess der Diffusion eine inhärente entropieverringernde Natur aufweist. Angesichts der Redundanz zwischen den Bildern in der Video-Modalität ist es nicht notwendig, in Hoch-Entropie-Phasen die volle Bildrate beizubehalten. Basierend auf dieser Erkenntnis schlagen wir TPDiff vor, ein einheitliches Framework zur Steigerung der Effizienz von Training und Inferenz. Indem wir die Diffusion in mehrere Phasen unterteilen, erhöht unser Framework die Bildrate schrittweise entlang des Diffusionsprozesses, wobei nur die letzte Phase mit voller Bildrate arbeitet, wodurch die Recheneffizienz optimiert wird. Um das mehrstufige Diffusionsmodell zu trainieren, führen wir ein spezielles Trainingsframework ein: die stufenweise Diffusion. Durch die Lösung der partitionierten Wahrscheinlichkeitsfluss-gewöhnlichen Differentialgleichungen (ODE) der Diffusion unter abgestimmten Daten und Rauschen ist unsere Trainingsstrategie auf verschiedene Diffusionsformen anwendbar und steigert die Trainingseffizienz weiter. Umfassende experimentelle Auswertungen bestätigen die Allgemeingültigkeit unserer Methode, die eine Reduzierung der Trainingskosten um 50 % und eine Verbesserung der Inferenzeffizienz um das 1,5-fache demonstriert.

English

The development of video diffusion models unveils a significant challenge: the substantial computational demands. To mitigate this challenge, we note that the reverse process of diffusion exhibits an inherent entropy-reducing nature. Given the inter-frame redundancy in video modality, maintaining full frame rates in high-entropy stages is unnecessary. Based on this insight, we propose TPDiff, a unified framework to enhance training and inference efficiency. By dividing diffusion into several stages, our framework progressively increases frame rate along the diffusion process with only the last stage operating on full frame rate, thereby optimizing computational efficiency. To train the multi-stage diffusion model, we introduce a dedicated training framework: stage-wise diffusion. By solving the partitioned probability flow ordinary differential equations (ODE) of diffusion under aligned data and noise, our training strategy is applicable to various diffusion forms and further enhances training efficiency. Comprehensive experimental evaluations validate the generality of our method, demonstrating 50% reduction in training cost and 1.5x improvement in inference efficiency.