CAT4D: Creare Qualsiasi Cosa in 4D con Modelli di Diffusione Video Multivista

CAT4D: Create Anything in 4D with Multi-View Video Diffusion Models

November 27, 2024

Autori: Rundi Wu, Ruiqi Gao, Ben Poole, Alex Trevithick, Changxi Zheng, Jonathan T. Barron, Aleksander Holynski

cs.AI

Abstract

Presentiamo CAT4D, un metodo per creare scene 4D (3D dinamiche) da video monoculari. CAT4D sfrutta un modello di diffusione video multi-vista addestrato su una combinazione diversificata di set di dati per consentire la sintesi di nuove visuali in qualsiasi posizione e istante temporale specificati dalla telecamera. Combinato con un innovativo approccio di campionamento, questo modello può trasformare un singolo video monocolore in un video multi-vista, consentendo una robusta ricostruzione 4D tramite ottimizzazione di una rappresentazione gaussiana 3D deformabile. Dimostriamo prestazioni competitive su benchmark di sintesi di nuove visuali e ricostruzione di scene dinamiche, e mettiamo in evidenza le capacità creative per la generazione di scene 4D da video reali o generati. Consultare la nostra pagina del progetto per i risultati e le demo interattive: cat-4d.github.io.

English

We present CAT4D, a method for creating 4D (dynamic 3D) scenes from monocular video. CAT4D leverages a multi-view video diffusion model trained on a diverse combination of datasets to enable novel view synthesis at any specified camera poses and timestamps. Combined with a novel sampling approach, this model can transform a single monocular video into a multi-view video, enabling robust 4D reconstruction via optimization of a deformable 3D Gaussian representation. We demonstrate competitive performance on novel view synthesis and dynamic scene reconstruction benchmarks, and highlight the creative capabilities for 4D scene generation from real or generated videos. See our project page for results and interactive demos: cat-4d.github.io.