SpectroMotion : Reconstruction 3D dynamique de scènes spéculaires

SpectroMotion: Dynamic 3D Reconstruction of Specular Scenes

October 22, 2024

Auteurs: Cheng-De Fan, Chen-Wei Chang, Yi-Ruei Liu, Jie-Ying Lee, Jiun-Long Huang, Yu-Chee Tseng, Yu-Lun Liu

cs.AI

Résumé

Nous présentons SpectroMotion, une nouvelle approche qui combine le Splatting Gaussien 3D (3DGS) avec le rendu basé sur la physique (PBR) et les champs de déformation pour reconstruire des scènes spéculaires dynamiques. Les méthodes précédentes étendant le 3DGS pour modéliser des scènes dynamiques ont eu du mal à représenter avec précision les surfaces spéculaires. Notre méthode aborde cette limitation en introduisant une technique de correction résiduelle pour le calcul précis de la normale de surface pendant la déformation, complétée par une carte d'environnement déformable qui s'adapte aux conditions d'éclairage variables dans le temps. Nous mettons en œuvre une stratégie d'entraînement de grossier à fin qui améliore significativement à la fois la géométrie de la scène et la prédiction de la couleur spéculaire. Nous démontrons que notre modèle surpasse les méthodes précédentes pour la synthèse de vue des scènes contenant des objets spéculaires dynamiques et qu'il est la seule méthode 3DGS existante capable de synthétiser des scènes spéculaires dynamiques réalistes en photographie, surpassant les méthodes de pointe dans le rendu de scènes complexes, dynamiques et spéculaires.

English

We present SpectroMotion, a novel approach that combines 3D Gaussian Splatting (3DGS) with physically-based rendering (PBR) and deformation fields to reconstruct dynamic specular scenes. Previous methods extending 3DGS to model dynamic scenes have struggled to accurately represent specular surfaces. Our method addresses this limitation by introducing a residual correction technique for accurate surface normal computation during deformation, complemented by a deformable environment map that adapts to time-varying lighting conditions. We implement a coarse-to-fine training strategy that significantly enhances both scene geometry and specular color prediction. We demonstrate that our model outperforms prior methods for view synthesis of scenes containing dynamic specular objects and that it is the only existing 3DGS method capable of synthesizing photorealistic real-world dynamic specular scenes, outperforming state-of-the-art methods in rendering complex, dynamic, and specular scenes.