MoDec-GS: Decomposição de Movimento Global para Local e Ajuste de Intervalo Temporal para Splatting Gaussiano 3D Dinâmico Compacto

MoDec-GS: Global-to-Local Motion Decomposition and Temporal Interval Adjustment for Compact Dynamic 3D Gaussian Splatting

January 7, 2025

Autores: Sangwoon Kwak, Joonsoo Kim, Jun Young Jeong, Won-Sik Cheong, Jihyong Oh, Munchurl Kim

cs.AI

Resumo

A técnica de Splatting Gaussiano 3D (3DGS) avançou significativamente na representação de cenas e renderização neural, com esforços intensos concentrados em adaptá-la para cenas dinâmicas. Apesar de proporcionar uma qualidade de renderização e velocidade notáveis, os métodos existentes enfrentam dificuldades com as demandas de armazenamento e a representação de movimentos complexos do mundo real. Para lidar com essas questões, propomos o MoDecGS, um framework de Splatting Gaussiano eficiente em memória, projetado para reconstruir novas visualizações em cenários desafiadores com movimentos complexos. Introduzimos a Decomposição de Movimento de Global para Local (GLMD) para capturar de forma eficaz os movimentos dinâmicos de maneira de grossa a fina. Esta abordagem utiliza Andaimes Canônicos Globais (Global CS) e Andaimes Canônicos Locais (Local CS), estendendo a representação de Andaime estático para reconstrução de vídeo dinâmico. Para o Global CS, propomos a Deformação de Âncora Global (GAD) para representar eficientemente dinâmicas globais ao longo de movimentos complexos, deformando diretamente os atributos implícitos do Andaime, que são posição do âncora, deslocamento e características de contexto local. Em seguida, ajustamos finamente os movimentos locais via Deformação Gaussiana Local (LGD) do Local CS de forma explícita. Além disso, introduzimos o Ajuste de Intervalo Temporal (TIA) para controlar automaticamente a cobertura temporal de cada Local CS durante o treinamento, permitindo que o MoDecGS encontre atribuições de intervalo ideais com base no número especificado de segmentos temporais. Avaliações extensivas demonstram que o MoDecGS alcança uma redução média de 70% no tamanho do modelo em relação aos métodos de ponta para Gaussiana 3D dinâmica a partir de vídeos dinâmicos do mundo real, mantendo ou até mesmo melhorando a qualidade de renderização.

English

3D Gaussian Splatting (3DGS) has made significant strides in scene representation and neural rendering, with intense efforts focused on adapting it for dynamic scenes. Despite delivering remarkable rendering quality and speed, existing methods struggle with storage demands and representing complex real-world motions. To tackle these issues, we propose MoDecGS, a memory-efficient Gaussian splatting framework designed for reconstructing novel views in challenging scenarios with complex motions. We introduce GlobaltoLocal Motion Decomposition (GLMD) to effectively capture dynamic motions in a coarsetofine manner. This approach leverages Global Canonical Scaffolds (Global CS) and Local Canonical Scaffolds (Local CS), extending static Scaffold representation to dynamic video reconstruction. For Global CS, we propose Global Anchor Deformation (GAD) to efficiently represent global dynamics along complex motions, by directly deforming the implicit Scaffold attributes which are anchor position, offset, and local context features. Next, we finely adjust local motions via the Local Gaussian Deformation (LGD) of Local CS explicitly. Additionally, we introduce Temporal Interval Adjustment (TIA) to automatically control the temporal coverage of each Local CS during training, allowing MoDecGS to find optimal interval assignments based on the specified number of temporal segments. Extensive evaluations demonstrate that MoDecGS achieves an average 70% reduction in model size over stateoftheart methods for dynamic 3D Gaussians from realworld dynamic videos while maintaining or even improving rendering quality.