MoDec-GS: Decomposizione del Movimento Globale-in-Locale e Regolazione degli Intervalli Temporali per la Splatting Gaussiana Dinamica 3D Compatta

MoDec-GS: Global-to-Local Motion Decomposition and Temporal Interval Adjustment for Compact Dynamic 3D Gaussian Splatting

January 7, 2025

Autori: Sangwoon Kwak, Joonsoo Kim, Jun Young Jeong, Won-Sik Cheong, Jihyong Oh, Munchurl Kim

cs.AI

Abstract

Il Splatting Gaussiano in 3D (3DGS) ha compiuto significativi progressi nella rappresentazione della scena e nel rendering neurale, con intensi sforzi concentrati sull'adattamento per scene dinamiche. Nonostante offra una notevole qualità e velocità di rendering, i metodi esistenti faticano con le richieste di archiviazione e la rappresentazione dei complessi movimenti del mondo reale. Per affrontare questi problemi, proponiamo MoDecGS, un framework di splatting gaussiano efficiente in termini di memoria progettato per ricostruire nuove visuali in scenari sfidanti con movimenti complessi. Introduciamo la Decomposizione del Movimento Globale in Locale (GLMD) per catturare efficacemente i movimenti dinamici in modo grossolano fino a fine. Questo approccio sfrutta i Ponteggi Canonici Globali (Global CS) e i Ponteggi Canonici Locali (Local CS), estendendo la rappresentazione statica del Ponteggio alla ricostruzione video dinamica. Per il Global CS, proponiamo la Deformazione dell'Ancoraggio Globale (GAD) per rappresentare efficacemente le dinamiche globali lungo movimenti complessi, deformando direttamente gli attributi impliciti del Ponteggio che sono posizione dell'ancoraggio, offset e caratteristiche del contesto locale. Successivamente, regoliamo finemente i movimenti locali tramite la Deformazione Gaussiana Locale (LGD) del Local CS in modo esplicito. Inoltre, introduciamo l'Adattamento dell'Intervallo Temporale (TIA) per controllare automaticamente la copertura temporale di ciascun Local CS durante l'addestramento, consentendo a MoDecGS di trovare assegnazioni di intervallo ottimali in base al numero specificato di segmenti temporali. Valutazioni approfondite dimostrano che MoDecGS raggiunge una riduzione media del 70% delle dimensioni del modello rispetto ai metodi all'avanguardia per i Gaussiani 3D dinamici dai video dinamici del mondo reale, mantenendo o addirittura migliorando la qualità del rendering.

English

3D Gaussian Splatting (3DGS) has made significant strides in scene representation and neural rendering, with intense efforts focused on adapting it for dynamic scenes. Despite delivering remarkable rendering quality and speed, existing methods struggle with storage demands and representing complex real-world motions. To tackle these issues, we propose MoDecGS, a memory-efficient Gaussian splatting framework designed for reconstructing novel views in challenging scenarios with complex motions. We introduce GlobaltoLocal Motion Decomposition (GLMD) to effectively capture dynamic motions in a coarsetofine manner. This approach leverages Global Canonical Scaffolds (Global CS) and Local Canonical Scaffolds (Local CS), extending static Scaffold representation to dynamic video reconstruction. For Global CS, we propose Global Anchor Deformation (GAD) to efficiently represent global dynamics along complex motions, by directly deforming the implicit Scaffold attributes which are anchor position, offset, and local context features. Next, we finely adjust local motions via the Local Gaussian Deformation (LGD) of Local CS explicitly. Additionally, we introduce Temporal Interval Adjustment (TIA) to automatically control the temporal coverage of each Local CS during training, allowing MoDecGS to find optimal interval assignments based on the specified number of temporal segments. Extensive evaluations demonstrate that MoDecGS achieves an average 70% reduction in model size over stateoftheart methods for dynamic 3D Gaussians from realworld dynamic videos while maintaining or even improving rendering quality.