SplineGS: 실시간 동적 3D 가우시안을 위한 견고한 모션 적응 스플라인(Motion-Adaptive Spline)

SplineGS: Robust Motion-Adaptive Spline for Real-Time Dynamic 3D Gaussians from Monocular Video

December 13, 2024

저자: Jongmin Park, Minh-Quan Viet Bui, Juan Luis Gonzalez Bello, Jaeho Moon, Jihyong Oh, Munchurl Kim

cs.AI

초록

야생에서의 단안 동영상으로부터 새로운 시점을 합성하는 것은 장면의 동적인 특성과 다중 시점 단서의 부족으로 인해 어려운 과제입니다. 이를 해결하기 위해 우리는 COLMAP을 사용하지 않는 동적 3D 가우시안 스플래팅(3DGS) 프레임워크인 SplineGS를 제안합니다. 이는 단안 동영상으로부터 고품질 재구성과 빠른 렌더링을 위한 것입니다. 이 프레임워크의 핵심은 Motion-Adaptive Spline(MAS) 방법으로, 소수의 제어점을 사용하여 3차 에르미트 스플라인을 통해 연속적인 동적 3D 가우시안 궤적을 표현합니다. MAS를 위해 우리는 Motion-Adaptive Control points Pruning(MACP) 방법을 소개하여 각 동적 3D 가우시안의 변화하는 동작을 모델링하고, 동적 모델링 무결성을 유지하면서 제어점을 점진적으로 제거합니다. 또한, 카메라 매개변수 추정과 3D 가우시안 속성에 대한 합동 최적화 전략을 제시하여 광도 및 기하학적 일관성을 활용합니다. 이는 Structure-from-Motion 전처리의 필요성을 제거하고 SplineGS의 강건성을 현실 세계 조건에서 향상시킵니다. 실험 결과, SplineGS가 단안 동영상으로부터 동적 장면의 새로운 시점 합성 품질에서 최첨단 방법들을 크게 능가하며 수천 배 빠른 렌더링 속도를 달성함을 보여줍니다.

English

Synthesizing novel views from in-the-wild monocular videos is challenging due to scene dynamics and the lack of multi-view cues. To address this, we propose SplineGS, a COLMAP-free dynamic 3D Gaussian Splatting (3DGS) framework for high-quality reconstruction and fast rendering from monocular videos. At its core is a novel Motion-Adaptive Spline (MAS) method, which represents continuous dynamic 3D Gaussian trajectories using cubic Hermite splines with a small number of control points. For MAS, we introduce a Motion-Adaptive Control points Pruning (MACP) method to model the deformation of each dynamic 3D Gaussian across varying motions, progressively pruning control points while maintaining dynamic modeling integrity. Additionally, we present a joint optimization strategy for camera parameter estimation and 3D Gaussian attributes, leveraging photometric and geometric consistency. This eliminates the need for Structure-from-Motion preprocessing and enhances SplineGS's robustness in real-world conditions. Experiments show that SplineGS significantly outperforms state-of-the-art methods in novel view synthesis quality for dynamic scenes from monocular videos, achieving thousands times faster rendering speed.