MagicDriveDiT: Hochauflösende Langzeitvideogenerierung für autonomes Fahren mit adaptiver Steuerung

MagicDriveDiT: High-Resolution Long Video Generation for Autonomous Driving with Adaptive Control

November 21, 2024

Autoren: Ruiyuan Gao, Kai Chen, Bo Xiao, Lanqing Hong, Zhenguo Li, Qiang Xu

cs.AI

Zusammenfassung

Der rasante Fortschritt von Diffusionsmodellen hat die Videosynthese erheblich verbessert, insbesondere bei der steuerbaren Videogenerierung, die für Anwendungen wie autonomes Fahren unerlässlich ist. Allerdings sind bestehende Methoden durch Skalierbarkeit und die Integration von Steuerbedingungen begrenzt, was es ihnen nicht ermöglicht, die Anforderungen an hochauflösende und lange Videos für Anwendungen im autonomen Fahren zu erfüllen. In diesem Artikel stellen wir MagicDriveDiT vor, einen neuartigen Ansatz auf Basis der DiT-Architektur, um diese Herausforderungen anzugehen. Unsere Methode verbessert die Skalierbarkeit durch Flussabstimmung und verwendet eine fortschreitende Schulungsstrategie, um komplexe Szenarien zu bewältigen. Durch die Integration von räumlich-zeitlicher bedingter Codierung erzielt MagicDriveDiT eine präzise Steuerung über räumlich-zeitliche Latente. Umfangreiche Experimente zeigen seine überlegene Leistung bei der Erzeugung realistischer Straßenszenenvideos mit höherer Auflösung und mehr Frames. MagicDriveDiT verbessert signifikant die Qualität der Videogenerierung und die räumlich-zeitliche Steuerung und erweitert damit sein Anwendungspotenzial für verschiedene Aufgaben im autonomen Fahren.

English

The rapid advancement of diffusion models has greatly improved video synthesis, especially in controllable video generation, which is essential for applications like autonomous driving. However, existing methods are limited by scalability and how control conditions are integrated, failing to meet the needs for high-resolution and long videos for autonomous driving applications. In this paper, we introduce MagicDriveDiT, a novel approach based on the DiT architecture, and tackle these challenges. Our method enhances scalability through flow matching and employs a progressive training strategy to manage complex scenarios. By incorporating spatial-temporal conditional encoding, MagicDriveDiT achieves precise control over spatial-temporal latents. Comprehensive experiments show its superior performance in generating realistic street scene videos with higher resolution and more frames. MagicDriveDiT significantly improves video generation quality and spatial-temporal controls, expanding its potential applications across various tasks in autonomous driving.