Imagine360: Generazione di video immersivi a 360 gradi da un punto di vista ancorato.

Imagine360: Immersive 360 Video Generation from Perspective Anchor

December 4, 2024

Autori: Jing Tan, Shuai Yang, Tong Wu, Jingwen He, Yuwei Guo, Ziwei Liu, Dahua Lin

cs.AI

Abstract

I video a 360° offrono un'esperienza iper-immersiva che consente agli spettatori di esplorare una scena dinamica da tutti i 360 gradi. Per ottenere una creazione di contenuti più user-friendly e personalizzata nel formato video a 360°, cerchiamo di trasformare i video prospettici standard in video equirettangolari a 360°. A questo scopo, presentiamo Imagine360, il primo framework di generazione video da prospettiva a 360° che crea video a 360° di alta qualità con ricchi e diversi modelli di movimento da ancoraggi video. Imagine360 apprende modelli visivi e di movimento sferici dettagliati da dati video a 360° limitati con diversi design chiave. 1) In primo luogo, adottiamo il design a doppio ramo, che include un ramo di denoising video prospettico e panoramico per fornire vincoli locali e globali per la generazione di video a 360°, con modulo di movimento e strati spaziali LoRA ottimizzati su video web estesi a 360°. 2) Inoltre, è stata ideata una maschera antipodale per catturare dipendenze di movimento a lungo raggio, potenziando il movimento della telecamera invertita tra pixel antipodali attraverso emisferi. 3) Per gestire input video prospettici diversi, proponiamo design consapevoli dell'elevazione che si adattano a mascherature video variabili dovute a variazioni di elevazione tra i frame. Estesi esperimenti dimostrano che Imagine360 raggiunge una qualità grafica superiore e una coerenza di movimento tra i metodi di generazione video a 360° più avanzati. Crediamo che Imagine360 prometta di far progredire la creazione di video personalizzati e immersivi a 360°.

English

360^circ videos offer a hyper-immersive experience that allows the viewers to explore a dynamic scene from full 360 degrees. To achieve more user-friendly and personalized content creation in 360^circ video format, we seek to lift standard perspective videos into 360^circ equirectangular videos. To this end, we introduce Imagine360, the first perspective-to-360^circ video generation framework that creates high-quality 360^circ videos with rich and diverse motion patterns from video anchors. Imagine360 learns fine-grained spherical visual and motion patterns from limited 360^circ video data with several key designs. 1) Firstly we adopt the dual-branch design, including a perspective and a panorama video denoising branch to provide local and global constraints for 360^circ video generation, with motion module and spatial LoRA layers fine-tuned on extended web 360^circ videos. 2) Additionally, an antipodal mask is devised to capture long-range motion dependencies, enhancing the reversed camera motion between antipodal pixels across hemispheres. 3) To handle diverse perspective video inputs, we propose elevation-aware designs that adapt to varying video masking due to changing elevations across frames. Extensive experiments show Imagine360 achieves superior graphics quality and motion coherence among state-of-the-art 360^circ video generation methods. We believe Imagine360 holds promise for advancing personalized, immersive 360^circ video creation.