MagicDriveDiT: Generatie van lange video's met hoge resolutie voor autonoom rijden met adaptieve controle

MagicDriveDiT: High-Resolution Long Video Generation for Autonomous Driving with Adaptive Control

November 21, 2024

Auteurs: Ruiyuan Gao, Kai Chen, Bo Xiao, Lanqing Hong, Zhenguo Li, Qiang Xu

cs.AI

Samenvatting

De snelle vooruitgang van diffusiemodellen heeft de videoproductie aanzienlijk verbeterd, vooral op het gebied van controleerbare videogeneratie, wat essentieel is voor toepassingen zoals autonoom rijden. Bestaande methoden worden echter beperkt door schaalbaarheid en de integratie van controlecondities, waardoor ze niet voldoen aan de behoeften voor hoge resolutie en lange video's voor toepassingen in autonoom rijden. In dit artikel introduceren we MagicDriveDiT, een nieuw benadering gebaseerd op de DiT-architectuur, en pakken we deze uitdagingen aan. Onze methode verbetert de schaalbaarheid door flow-matching en maakt gebruik van een progressieve trainingsstrategie om complexe scenario's te beheren. Door het opnemen van ruimtelijk-temporele conditionele codering, bereikt MagicDriveDiT nauwkeurige controle over ruimtelijk-temporele latenties. Uitgebreide experimenten tonen de superieure prestaties aan bij het genereren van realistische straatbeelden met hogere resolutie en meer frames. MagicDriveDiT verbetert aanzienlijk de kwaliteit van videoproductie en ruimtelijk-temporele controle, waardoor het potentieel toepasbaar is op verschillende taken in autonoom rijden.

English

The rapid advancement of diffusion models has greatly improved video synthesis, especially in controllable video generation, which is essential for applications like autonomous driving. However, existing methods are limited by scalability and how control conditions are integrated, failing to meet the needs for high-resolution and long videos for autonomous driving applications. In this paper, we introduce MagicDriveDiT, a novel approach based on the DiT architecture, and tackle these challenges. Our method enhances scalability through flow matching and employs a progressive training strategy to manage complex scenarios. By incorporating spatial-temporal conditional encoding, MagicDriveDiT achieves precise control over spatial-temporal latents. Comprehensive experiments show its superior performance in generating realistic street scene videos with higher resolution and more frames. MagicDriveDiT significantly improves video generation quality and spatial-temporal controls, expanding its potential applications across various tasks in autonomous driving.