Fehleranalysen autoregressiver Video-Diffusionsmodelle: Ein einheitliches Framework

Error Analyses of Auto-Regressive Video Diffusion Models: A Unified Framework

March 12, 2025

Autoren: Jing Wang, Fengzhuo Zhang, Xiaoli Li, Vincent Y. F. Tan, Tianyu Pang, Chao Du, Aixin Sun, Zhuoran Yang

cs.AI

Zusammenfassung

Eine Vielzahl von autoregressiven Video-Diffusionsmodellen (ARVDM) hat bemerkenswerte Erfolge bei der Erzeugung realistischer Langformvideos erzielt. Theoretische Analysen dieser Modelle sind jedoch nach wie vor rar. In dieser Arbeit entwickeln wir theoretische Grundlagen für diese Modelle und nutzen unsere Erkenntnisse, um die Leistung bestehender Modelle zu verbessern. Zunächst entwickeln wir Meta-ARVDM, ein einheitliches Framework für ARVDMs, das die meisten bestehenden Methoden umfasst. Mit Meta-ARVDM analysieren wir die KL-Divergenz zwischen den von Meta-ARVDM erzeugten Videos und den tatsächlichen Videos. Unsere Analyse deckt zwei wichtige Phänomene auf, die ARVDM inhärent sind – Fehlerakkumulation und Speicher-Engpass. Durch die Ableitung eines informationstheoretischen Unmöglichkeitsergebnisses zeigen wir, dass das Phänomen des Speicher-Engpasses nicht vermieden werden kann. Um den Speicher-Engpass zu mildern, entwerfen wir verschiedene Netzwerkstrukturen, um explizit mehr vergangene Frames zu nutzen. Wir erreichen auch eine deutlich verbesserte Balance zwischen der Milderung des Speicher-Engpasses und der Inferenzeffizienz durch die Komprimierung der Frames. Experimentelle Ergebnisse auf DMLab und Minecraft bestätigen die Wirksamkeit unserer Methoden. Unsere Experimente zeigen auch eine Pareto-Front zwischen der Fehlerakkumulation und dem Speicher-Engpass bei verschiedenen Methoden.

English

A variety of Auto-Regressive Video Diffusion Models (ARVDM) have achieved remarkable successes in generating realistic long-form videos. However, theoretical analyses of these models remain scant. In this work, we develop theoretical underpinnings for these models and use our insights to improve the performance of existing models. We first develop Meta-ARVDM, a unified framework of ARVDMs that subsumes most existing methods. Using Meta-ARVDM, we analyze the KL-divergence between the videos generated by Meta-ARVDM and the true videos. Our analysis uncovers two important phenomena inherent to ARVDM -- error accumulation and memory bottleneck. By deriving an information-theoretic impossibility result, we show that the memory bottleneck phenomenon cannot be avoided. To mitigate the memory bottleneck, we design various network structures to explicitly use more past frames. We also achieve a significantly improved trade-off between the mitigation of the memory bottleneck and the inference efficiency by compressing the frames. Experimental results on DMLab and Minecraft validate the efficacy of our methods. Our experiments also demonstrate a Pareto-frontier between the error accumulation and memory bottleneck across different methods.