MoDec-GS: 전역에서 지역으로의 동작 분해 및 시간 간격 조정을 위한 간결한 동적 3D 가우시안 스플래팅

MoDec-GS: Global-to-Local Motion Decomposition and Temporal Interval Adjustment for Compact Dynamic 3D Gaussian Splatting

January 7, 2025

저자: Sangwoon Kwak, Joonsoo Kim, Jun Young Jeong, Won-Sik Cheong, Jihyong Oh, Munchurl Kim

cs.AI

초록

3D 가우시안 스플래팅 (3DGS)은 장면 표현 및 신경 렌더링에서 중요한 발전을 이루어 왔으며, 역동적인 장면에 적응하기 위해 집중적인 노력이 기울여졌습니다. 현존하는 방법들은 높은 렌더링 품질과 속도를 제공하지만, 저장 요구 사항과 복잡한 현실 세계의 움직임을 표현하는 데 어려움을 겪고 있습니다. 이러한 문제를 해결하기 위해 우리는 MoDecGS를 제안합니다. 이는 복잡한 움직임이 포함된 어려운 상황에서 새로운 시점을 재구성하기 위한 메모리 효율적인 가우시안 스플래팅 프레임워크로 설계되었습니다. 우리는 GlobaltoLocal Motion Decomposition (GLMD)을 소개하여 동적 움직임을 효과적으로 캡처합니다. 이 방법은 Global Canonical Scaffolds (Global CS)와 Local Canonical Scaffolds (Local CS)를 활용하여 정적 Scaffold 표현을 동적 비디오 재구성으로 확장합니다. Global CS에 대해 우리는 Global Anchor Deformation (GAD)를 제안하여 복잡한 움직임을 따라 전역적인 동적을 효율적으로 표현합니다. 다음으로, Local CS의 Local Gaussian Deformation (LGD)을 통해 지역 움직임을 세밀하게 조정합니다. 더불어, 우리는 Temporal Interval Adjustment (TIA)를 소개하여 각 Local CS의 시간적 커버리지를 자동으로 제어하며, MoDecGS가 지정된 시간 세그먼트 수에 기반하여 최적의 간격 할당을 찾을 수 있도록 합니다. 철저한 평가 결과, MoDecGS가 실제 동적 비디오로부터 동적 3D 가우시안에 대해 최첨단 방법에 비해 모델 크기를 평균 70% 줄였으며 렌더링 품질을 유지하거나 향상시켰음을 보여줍니다.

English

3D Gaussian Splatting (3DGS) has made significant strides in scene representation and neural rendering, with intense efforts focused on adapting it for dynamic scenes. Despite delivering remarkable rendering quality and speed, existing methods struggle with storage demands and representing complex real-world motions. To tackle these issues, we propose MoDecGS, a memory-efficient Gaussian splatting framework designed for reconstructing novel views in challenging scenarios with complex motions. We introduce GlobaltoLocal Motion Decomposition (GLMD) to effectively capture dynamic motions in a coarsetofine manner. This approach leverages Global Canonical Scaffolds (Global CS) and Local Canonical Scaffolds (Local CS), extending static Scaffold representation to dynamic video reconstruction. For Global CS, we propose Global Anchor Deformation (GAD) to efficiently represent global dynamics along complex motions, by directly deforming the implicit Scaffold attributes which are anchor position, offset, and local context features. Next, we finely adjust local motions via the Local Gaussian Deformation (LGD) of Local CS explicitly. Additionally, we introduce Temporal Interval Adjustment (TIA) to automatically control the temporal coverage of each Local CS during training, allowing MoDecGS to find optimal interval assignments based on the specified number of temporal segments. Extensive evaluations demonstrate that MoDecGS achieves an average 70% reduction in model size over stateoftheart methods for dynamic 3D Gaussians from realworld dynamic videos while maintaining or even improving rendering quality.