스펙트로모션: 반사 장면의 동적 3D 재구성

SpectroMotion: Dynamic 3D Reconstruction of Specular Scenes

October 22, 2024

저자: Cheng-De Fan, Chen-Wei Chang, Yi-Ruei Liu, Jie-Ying Lee, Jiun-Long Huang, Yu-Chee Tseng, Yu-Lun Liu

cs.AI

초록

우리는 SpectroMotion을 제안합니다. SpectroMotion은 3D 가우시안 스플래팅(3DGS)을 물리 기반 렌더링(PBR) 및 변형 필드와 결합하여 동적 반사 장면을 재구성하는 혁신적인 방법입니다. 이전에 3DGS를 확장하여 동적 장면을 모델링하는 방법은 반사 표면을 정확하게 표현하는 데 어려움을 겪었습니다. 우리의 방법은 변형 중 정확한 표면 법선 계산을 위한 잔차 보정 기술을 도입하여 이 한계를 해결하고, 시간에 따라 변화하는 조명 조건에 적응하는 변형 가능한 환경 맵을 보완합니다. 우리는 코스 투 파인 훈련 전략을 구현하여 장면 기하학과 반사 색상 예측을 크게 향상시킵니다. 우리의 모델이 동적 반사 물체를 포함하는 장면의 시야 합성에 대해 이전 방법보다 우수한 성능을 보이며, 복잡하고 동적이며 반사적인 장면을 렌더링하는 최첨단 방법을 능가하는 유일한 기존 3DGS 방법임을 입증합니다.

English

We present SpectroMotion, a novel approach that combines 3D Gaussian Splatting (3DGS) with physically-based rendering (PBR) and deformation fields to reconstruct dynamic specular scenes. Previous methods extending 3DGS to model dynamic scenes have struggled to accurately represent specular surfaces. Our method addresses this limitation by introducing a residual correction technique for accurate surface normal computation during deformation, complemented by a deformable environment map that adapts to time-varying lighting conditions. We implement a coarse-to-fine training strategy that significantly enhances both scene geometry and specular color prediction. We demonstrate that our model outperforms prior methods for view synthesis of scenes containing dynamic specular objects and that it is the only existing 3DGS method capable of synthesizing photorealistic real-world dynamic specular scenes, outperforming state-of-the-art methods in rendering complex, dynamic, and specular scenes.