1000+ FPS 4D-Gaußsplatting für die Darstellung dynamischer Szenen

1000+ FPS 4D Gaussian Splatting for Dynamic Scene Rendering

March 20, 2025

Autoren: Yuheng Yuan, Qiuhong Shen, Xingyi Yang, Xinchao Wang

cs.AI

Zusammenfassung

4D Gaussian Splatting (4DGS) hat in letzter Zeit erhebliche Aufmerksamkeit als Methode zur Rekonstruktion dynamischer Szenen erlangt. Obwohl es eine überlegene Qualität erreicht, benötigt 4DGS typischerweise erheblichen Speicherplatz und leidet unter langsamer Render-Geschwindigkeit. In dieser Arbeit gehen wir auf diese Probleme ein und identifizieren zwei Hauptquellen für zeitliche Redundanz. (Q1) Kurzlebige Gaussians: 4DGS verwendet einen großen Anteil von Gaussians mit kurzer zeitlicher Spanne, um die Dynamik der Szene darzustellen, was zu einer übermäßigen Anzahl von Gaussians führt. (Q2) Inaktive Gaussians: Beim Rendern trägt nur eine kleine Teilmenge der Gaussians zu jedem Frame bei. Trotzdem werden alle Gaussians während der Rasterisierung verarbeitet, was zu redundanten Berechnungsaufwand führt. Um diese Redundanzen zu beheben, präsentieren wir 4DGS-1K, das auf modernen GPUs mit über 1000 FPS läuft. Für Q1 führen wir den Spatial-Temporal Variation Score ein, ein neues Kriterium zur Ausdünnung, das effektiv kurzlebige Gaussians entfernt und gleichzeitig 4DGS dazu anregt, die Dynamik der Szene mit Gaussians mit längerer zeitlicher Spanne zu erfassen. Für Q2 speichern wir eine Maske für aktive Gaussians über aufeinanderfolgende Frames, was die redundanten Berechnungen beim Rendering erheblich reduziert. Im Vergleich zu herkömmlichem 4DGS erreicht unsere Methode eine 41-fache Reduzierung des Speicherbedarfs und eine 9-fach schnellere Rasterisierungsgeschwindigkeit bei komplexen dynamischen Szenen, bei gleichbleibender visueller Qualität. Bitte besuchen Sie unsere Projektseite unter https://4DGS-1K.github.io.

English

4D Gaussian Splatting (4DGS) has recently gained considerable attention as a method for reconstructing dynamic scenes. Despite achieving superior quality, 4DGS typically requires substantial storage and suffers from slow rendering speed. In this work, we delve into these issues and identify two key sources of temporal redundancy. (Q1) Short-Lifespan Gaussians: 4DGS uses a large portion of Gaussians with short temporal span to represent scene dynamics, leading to an excessive number of Gaussians. (Q2) Inactive Gaussians: When rendering, only a small subset of Gaussians contributes to each frame. Despite this, all Gaussians are processed during rasterization, resulting in redundant computation overhead. To address these redundancies, we present 4DGS-1K, which runs at over 1000 FPS on modern GPUs. For Q1, we introduce the Spatial-Temporal Variation Score, a new pruning criterion that effectively removes short-lifespan Gaussians while encouraging 4DGS to capture scene dynamics using Gaussians with longer temporal spans. For Q2, we store a mask for active Gaussians across consecutive frames, significantly reducing redundant computations in rendering. Compared to vanilla 4DGS, our method achieves a 41times reduction in storage and 9times faster rasterization speed on complex dynamic scenes, while maintaining comparable visual quality. Please see our project page at https://4DGS-1K.github.io.