SpectroMotion: Dynamische 3D-reconstructie van spiegelende scènes

SpectroMotion: Dynamic 3D Reconstruction of Specular Scenes

October 22, 2024

Auteurs: Cheng-De Fan, Chen-Wei Chang, Yi-Ruei Liu, Jie-Ying Lee, Jiun-Long Huang, Yu-Chee Tseng, Yu-Lun Liu

cs.AI

Samenvatting

We presenteren SpectroMotion, een nieuwe benadering die 3D Gaussian Splatting (3DGS) combineert met op fysica gebaseerde rendering (PBR) en vervormingsvelden om dynamische spiegelende scènes te reconstrueren. Eerdere methoden die 3DGS uitbreiden om dynamische scènes te modelleren, hebben moeite gehad om spiegelende oppervlakken nauwkeurig weer te geven. Onze methode lost dit op door een restcorrectietechniek te introduceren voor nauwkeurige berekening van oppervlaktenormalen tijdens vervorming, aangevuld met een vervormbare omgevingskaart die zich aanpast aan veranderende lichtomstandigheden. We passen een grof-naar-fijne trainingsstrategie toe die zowel de scènegeometrie als de voorspelling van spiegelende kleuren aanzienlijk verbetert. We tonen aan dat ons model beter presteert dan eerdere methoden voor het synthetiseren van weergaven van scènes met dynamische spiegelende objecten en dat het de enige bestaande 3DGS-methode is die in staat is fotorealistische dynamische spiegelende scènes uit de echte wereld te synthetiseren, waarbij het de state-of-the-art methoden overtreft in het renderen van complexe, dynamische en spiegelende scènes.

English

We present SpectroMotion, a novel approach that combines 3D Gaussian Splatting (3DGS) with physically-based rendering (PBR) and deformation fields to reconstruct dynamic specular scenes. Previous methods extending 3DGS to model dynamic scenes have struggled to accurately represent specular surfaces. Our method addresses this limitation by introducing a residual correction technique for accurate surface normal computation during deformation, complemented by a deformable environment map that adapts to time-varying lighting conditions. We implement a coarse-to-fine training strategy that significantly enhances both scene geometry and specular color prediction. We demonstrate that our model outperforms prior methods for view synthesis of scenes containing dynamic specular objects and that it is the only existing 3DGS method capable of synthesizing photorealistic real-world dynamic specular scenes, outperforming state-of-the-art methods in rendering complex, dynamic, and specular scenes.