SplineGS: Spline Robusto Adattivo al Movimento per Gaussiane 3D Dinamiche in Tempo Reale da Video Monoculare

SplineGS: Robust Motion-Adaptive Spline for Real-Time Dynamic 3D Gaussians from Monocular Video

December 13, 2024

Autori: Jongmin Park, Minh-Quan Viet Bui, Juan Luis Gonzalez Bello, Jaeho Moon, Jihyong Oh, Munchurl Kim

cs.AI

Abstract

La sintesi di nuove visualizzazioni da video monoculari in condizioni naturali è una sfida a causa della dinamicità della scena e della mancanza di indizi multi-visivi. Per affrontare questo problema, proponiamo SplineGS, un framework dinamico 3D Gaussian Splatting (3DGS) senza COLMAP per la ricostruzione di alta qualità e il rendering veloce da video monoculari. Al suo nucleo si trova un nuovo metodo Spline Adattivo al Movimento (MAS), che rappresenta traiettorie gaussiane 3D dinamiche continue utilizzando spline cubiche di Hermite con un numero ridotto di punti di controllo. Per MAS, introduciamo un metodo di Potatura dei Punti di Controllo Adattivo al Movimento (MACP) per modellare la deformazione di ciascuna gaussiana 3D dinamica attraverso movimenti variabili, potando progressivamente i punti di controllo mantenendo l'integrità del modello dinamico. Inoltre, presentiamo una strategia di ottimizzazione congiunta per la stima dei parametri della telecamera e degli attributi gaussiani 3D, sfruttando la coerenza fotometrica e geometrica. Ciò elimina la necessità di un preprocessamento della Struttura dal Movimento e potenzia la robustezza di SplineGS in condizioni reali. Gli esperimenti mostrano che SplineGS supera significativamente i metodi all'avanguardia nella qualità di sintesi di nuove visualizzazioni per scene dinamiche da video monoculari, raggiungendo una velocità di rendering migliaia di volte più veloce.

English

Synthesizing novel views from in-the-wild monocular videos is challenging due to scene dynamics and the lack of multi-view cues. To address this, we propose SplineGS, a COLMAP-free dynamic 3D Gaussian Splatting (3DGS) framework for high-quality reconstruction and fast rendering from monocular videos. At its core is a novel Motion-Adaptive Spline (MAS) method, which represents continuous dynamic 3D Gaussian trajectories using cubic Hermite splines with a small number of control points. For MAS, we introduce a Motion-Adaptive Control points Pruning (MACP) method to model the deformation of each dynamic 3D Gaussian across varying motions, progressively pruning control points while maintaining dynamic modeling integrity. Additionally, we present a joint optimization strategy for camera parameter estimation and 3D Gaussian attributes, leveraging photometric and geometric consistency. This eliminates the need for Structure-from-Motion preprocessing and enhances SplineGS's robustness in real-world conditions. Experiments show that SplineGS significantly outperforms state-of-the-art methods in novel view synthesis quality for dynamic scenes from monocular videos, achieving thousands times faster rendering speed.