SpectroMotion: Dynamische 3D-Rekonstruktion von spiegelnden Szenen

SpectroMotion: Dynamic 3D Reconstruction of Specular Scenes

October 22, 2024

Autoren: Cheng-De Fan, Chen-Wei Chang, Yi-Ruei Liu, Jie-Ying Lee, Jiun-Long Huang, Yu-Chee Tseng, Yu-Lun Liu

cs.AI

Zusammenfassung

Wir präsentieren SpectroMotion, einen neuartigen Ansatz, der 3D-Gauß-Splatting (3DGS) mit physikalisch basierter Rendering (PBR) und Deformationsfeldern kombiniert, um dynamische spektrale Szenen zu rekonstruieren. Frühere Methoden, die 3DGS erweiterten, um dynamische Szenen zu modellieren, hatten Schwierigkeiten, spektrale Oberflächen genau darzustellen. Unser Ansatz behebt diese Einschränkung, indem er eine Restkorrektur-Technik zur genauen Berechnung der Oberflächennormalen während der Deformation einführt, ergänzt durch eine verformbare Umgebungskarte, die sich an zeitlich variierende Beleuchtungsbedingungen anpasst. Wir implementieren eine Grob-zu-Fein-Trainingsstrategie, die sowohl die Szenengeometrie als auch die Vorhersage der spekularen Farbe signifikant verbessert. Wir zeigen, dass unser Modell frühere Methoden bei der Ansichtssynthese von Szenen mit dynamischen spekularen Objekten übertrifft und dass es die einzige bestehende 3DGS-Methode ist, die in der Lage ist, fotorealistische dynamische spektrale Szenen aus der realen Welt zu synthetisieren und dabei modernste Methoden bei der Darstellung komplexer, dynamischer und spektraler Szenen übertrifft.

English

We present SpectroMotion, a novel approach that combines 3D Gaussian Splatting (3DGS) with physically-based rendering (PBR) and deformation fields to reconstruct dynamic specular scenes. Previous methods extending 3DGS to model dynamic scenes have struggled to accurately represent specular surfaces. Our method addresses this limitation by introducing a residual correction technique for accurate surface normal computation during deformation, complemented by a deformable environment map that adapts to time-varying lighting conditions. We implement a coarse-to-fine training strategy that significantly enhances both scene geometry and specular color prediction. We demonstrate that our model outperforms prior methods for view synthesis of scenes containing dynamic specular objects and that it is the only existing 3DGS method capable of synthesizing photorealistic real-world dynamic specular scenes, outperforming state-of-the-art methods in rendering complex, dynamic, and specular scenes.