MagicDriveDiT: Generazione di video lunghi ad alta risoluzione per la guida autonoma con controllo adattivo

MagicDriveDiT: High-Resolution Long Video Generation for Autonomous Driving with Adaptive Control

November 21, 2024

Autori: Ruiyuan Gao, Kai Chen, Bo Xiao, Lanqing Hong, Zhenguo Li, Qiang Xu

cs.AI

Abstract

Il rapido avanzamento dei modelli di diffusione ha notevolmente migliorato la sintesi video, specialmente nella generazione di video controllabili, essenziale per applicazioni come la guida autonoma. Tuttavia, i metodi esistenti sono limitati dalla scalabilità e dall'integrazione delle condizioni di controllo, non riuscendo a soddisfare le esigenze di video ad alta risoluzione e di lunga durata per le applicazioni di guida autonoma. In questo articolo, presentiamo MagicDriveDiT, un nuovo approccio basato sull'architettura DiT, e affrontiamo queste sfide. Il nostro metodo potenzia la scalabilità attraverso il matching di flussi e utilizza una strategia di addestramento progressiva per gestire scenari complessi. Integrando la codifica condizionale spazio-temporale, MagicDriveDiT ottiene un controllo preciso sui latenti spazio-temporali. Esperimenti esaustivi mostrano le sue prestazioni superiori nella generazione di video realistici di scene stradali con maggiore risoluzione e più fotogrammi. MagicDriveDiT migliora significativamente la qualità della generazione video e i controlli spazio-temporali, espandendo le sue potenziali applicazioni in varie attività di guida autonoma.

English

The rapid advancement of diffusion models has greatly improved video synthesis, especially in controllable video generation, which is essential for applications like autonomous driving. However, existing methods are limited by scalability and how control conditions are integrated, failing to meet the needs for high-resolution and long videos for autonomous driving applications. In this paper, we introduce MagicDriveDiT, a novel approach based on the DiT architecture, and tackle these challenges. Our method enhances scalability through flow matching and employs a progressive training strategy to manage complex scenarios. By incorporating spatial-temporal conditional encoding, MagicDriveDiT achieves precise control over spatial-temporal latents. Comprehensive experiments show its superior performance in generating realistic street scene videos with higher resolution and more frames. MagicDriveDiT significantly improves video generation quality and spatial-temporal controls, expanding its potential applications across various tasks in autonomous driving.