MagicDriveDiT : Génération de vidéos longues à haute résolution pour la conduite autonome avec contrôle adaptatif

MagicDriveDiT: High-Resolution Long Video Generation for Autonomous Driving with Adaptive Control

November 21, 2024

Auteurs: Ruiyuan Gao, Kai Chen, Bo Xiao, Lanqing Hong, Zhenguo Li, Qiang Xu

cs.AI

Résumé

Le rapide progrès des modèles de diffusion a grandement amélioré la synthèse vidéo, notamment dans la génération de vidéos contrôlables, essentielle pour des applications telles que la conduite autonome. Cependant, les méthodes existantes sont limitées en termes de scalabilité et d'intégration des conditions de contrôle, ne parvenant pas à répondre aux besoins en vidéos haute résolution et longues pour les applications de conduite autonome. Dans cet article, nous présentons MagicDriveDiT, une nouvelle approche basée sur l'architecture DiT, et relevons ces défis. Notre méthode améliore la scalabilité grâce à la correspondance des flux et utilise une stratégie d'entraînement progressive pour gérer des scénarios complexes. En incorporant un encodage conditionnel spatial-temporel, MagicDriveDiT permet un contrôle précis des latents spatiaux-temporels. Des expériences approfondies montrent ses performances supérieures dans la génération de vidéos de scènes de rue réalistes avec une résolution plus élevée et davantage d'images. MagicDriveDiT améliore significativement la qualité de génération vidéo et les contrôles spatiaux-temporels, élargissant ses applications potentielles à diverses tâches en conduite autonome.

English

The rapid advancement of diffusion models has greatly improved video synthesis, especially in controllable video generation, which is essential for applications like autonomous driving. However, existing methods are limited by scalability and how control conditions are integrated, failing to meet the needs for high-resolution and long videos for autonomous driving applications. In this paper, we introduce MagicDriveDiT, a novel approach based on the DiT architecture, and tackle these challenges. Our method enhances scalability through flow matching and employs a progressive training strategy to manage complex scenarios. By incorporating spatial-temporal conditional encoding, MagicDriveDiT achieves precise control over spatial-temporal latents. Comprehensive experiments show its superior performance in generating realistic street scene videos with higher resolution and more frames. MagicDriveDiT significantly improves video generation quality and spatial-temporal controls, expanding its potential applications across various tasks in autonomous driving.