MoDec-GS：コンパクトな動的3Dガウススプラッティングのためのグローバルからローカルなモーション分解と時間間隔調整

MoDec-GS: Global-to-Local Motion Decomposition and Temporal Interval Adjustment for Compact Dynamic 3D Gaussian Splatting

January 7, 2025

著者: Sangwoon Kwak, Joonsoo Kim, Jun Young Jeong, Won-Sik Cheong, Jihyong Oh, Munchurl Kim

cs.AI

要旨

3D Gaussian Splatting（3DGS）は、シーン表現とニューラルレンダリングにおいて大きな進展を遂げており、動的なシーンに適応するための強力な取り組みが行われています。既存の手法は、優れたレンダリング品質と速度を提供しているものの、ストレージ要件や複雑な実世界の動きの表現に苦労しています。これらの課題に対処するために、私たちはMoDecGSを提案します。これは、複雑な動きを持つ厳しいシナリオで新しい視点を再構築するために設計されたメモリ効率の良いガウススプラッティングフレームワークです。私たちは、GlobaltoLocal Motion Decomposition（GLMD）を導入して、動的な動きを効果的に粗から細の方法で捉えます。このアプローチは、Global Canonical Scaffolds（Global CS）とLocal Canonical Scaffolds（Local CS）を活用し、静的なScaffold表現を動的なビデオ再構築に拡張します。Global CSについては、グローバルダイナミクスを効率的に表現するために、グローバルアンカーデフォルメーション（GAD）を提案します。これは、アンカー位置、オフセット、およびローカルコンテキスト特徴の暗黙のScaffold属性を直接変形することで、複雑な動きに沿ったグローバルダイナミクスを表現します。次に、Local CSのLocal Gaussian Deformation（LGD）によって、ローカルな動きを細かく調整します。さらに、Temporal Interval Adjustment（TIA）を導入して、トレーニング中に各Local CSの時間的カバレッジを自動的に制御し、指定された時間セグメント数に基づいて最適なインターバル割り当てを見つけることができます。包括的な評価により、MoDecGSは、実世界の動的ビデオからの動的3Dガウス分布に対して、最先端の手法に比べて平均70％のモデルサイズ削減を達成し、レンダリング品質を維持または向上させることが示されました。

English

3D Gaussian Splatting (3DGS) has made significant strides in scene representation and neural rendering, with intense efforts focused on adapting it for dynamic scenes. Despite delivering remarkable rendering quality and speed, existing methods struggle with storage demands and representing complex real-world motions. To tackle these issues, we propose MoDecGS, a memory-efficient Gaussian splatting framework designed for reconstructing novel views in challenging scenarios with complex motions. We introduce GlobaltoLocal Motion Decomposition (GLMD) to effectively capture dynamic motions in a coarsetofine manner. This approach leverages Global Canonical Scaffolds (Global CS) and Local Canonical Scaffolds (Local CS), extending static Scaffold representation to dynamic video reconstruction. For Global CS, we propose Global Anchor Deformation (GAD) to efficiently represent global dynamics along complex motions, by directly deforming the implicit Scaffold attributes which are anchor position, offset, and local context features. Next, we finely adjust local motions via the Local Gaussian Deformation (LGD) of Local CS explicitly. Additionally, we introduce Temporal Interval Adjustment (TIA) to automatically control the temporal coverage of each Local CS during training, allowing MoDecGS to find optimal interval assignments based on the specified number of temporal segments. Extensive evaluations demonstrate that MoDecGS achieves an average 70% reduction in model size over stateoftheart methods for dynamic 3D Gaussians from realworld dynamic videos while maintaining or even improving rendering quality.