GS^3: 삼중 가우시안 스플래팅을 이용한 효율적인 조명 변화

GS^3: Efficient Relighting with Triple Gaussian Splatting

October 15, 2024

저자: Zoubin Bi, Yixin Zeng, Chong Zeng, Fan Pei, Xiang Feng, Kun Zhou, Hongzhi Wu

cs.AI

초록

우리는 다중 시점 조명 입력 이미지로부터의 실시간, 고품질 신형 조명 및 시점 합성을 위해 공간 및 각도 가우시안 기반 표현과 삼중 스플래팅 프로세스를 제시합니다. 복잡한 외형을 설명하기 위해 각 공간 가우시안에 대한 유효한 반사 함수로 Lambertian 및 각도 가우시안 혼합을 사용합니다. 자체 그림자를 생성하기 위해 우리는 모든 공간 가우시안을 빛의 원본으로 스플래팅하여 그림자 값을 얻으며, 이는 소규모 다층 퍼셉트론에 의해 더 정교하게 다듬어집니다. 전체 조명과 같은 다른 효과를 보상하기 위해 다른 네트워크가 각 공간 가우시안 RGB 튜플을 계산하고 추가하도록 훈련됩니다. 우리의 표현의 효과는 기하학(고체에서 부드러운 것까지) 및 외형(반투명에서 이방성까지)에 대한 다양한 변형을 가진 30개의 샘플에서, 그리고 핸드헬드 카메라 및 플래시로 촬영된 사진 또는 전문 조명 장치에서 캡처된 렌더링된 합성/재구성 물체의 이미지와 같은 다양한 형태의 입력 데이터를 사용하여 입증됩니다. 우리는 단일 상용 GPU에서 40-70분의 훈련 시간과 90fps의 렌더링 속도를 달성합니다. 우리의 결과는 품질/성능 측면에서 최첨단 기술과 유사하게 비교됩니다. 우리의 코드와 데이터는 https://GSrelight.github.io/에서 공개적으로 이용 가능합니다.

English

We present a spatial and angular Gaussian based representation and a triple splatting process, for real-time, high-quality novel lighting-and-view synthesis from multi-view point-lit input images. To describe complex appearance, we employ a Lambertian plus a mixture of angular Gaussians as an effective reflectance function for each spatial Gaussian. To generate self-shadow, we splat all spatial Gaussians towards the light source to obtain shadow values, which are further refined by a small multi-layer perceptron. To compensate for other effects like global illumination, another network is trained to compute and add a per-spatial-Gaussian RGB tuple. The effectiveness of our representation is demonstrated on 30 samples with a wide variation in geometry (from solid to fluffy) and appearance (from translucent to anisotropic), as well as using different forms of input data, including rendered images of synthetic/reconstructed objects, photographs captured with a handheld camera and a flash, or from a professional lightstage. We achieve a training time of 40-70 minutes and a rendering speed of 90 fps on a single commodity GPU. Our results compare favorably with state-of-the-art techniques in terms of quality/performance. Our code and data are publicly available at https://GSrelight.github.io/.