다중 조명 합성을 사용한 광도 필드 조명 변환에 대한 확산 접근

A Diffusion Approach to Radiance Field Relighting using Multi-Illumination Synthesis

September 13, 2024

저자: Yohan Poirier-Ginter, Alban Gauthier, Julien Phillip, Jean-Francois Lalonde, George Drettakis

cs.AI

초록

멀티뷰 데이터에 대한 조명 재조명 방법은 심각하게 미제약되어 있습니다. 이는 대부분의 경우 단일 조명 조건 하에 캡처된 데이터에 적용됩니다. 특히 여러 객체를 포함하는 전체 장면에 대해서는 특히 어렵습니다. 우리는 2D 이미지 확산 모델에서 추출된 사전 정보를 활용하여 이러한 단일 조명 데이터를 사용하여 재조명 가능한 광도 필드를 생성하는 방법을 제안합니다. 먼저, 조명 방향에 따라 조건이 설정된 멀티 조명 데이터셋에서 2D 확산 모델을 세밀하게 조정하여, 직접 정의된 조명 방향에서 현실적이지만 일관성이 없을 수 있는 멀티 조명 데이터셋으로 단일 조명 캡처를 보강할 수 있습니다. 이 보강된 데이터를 사용하여 3D 가우시안 스플랫으로 표현된 재조명 가능한 광도 필드를 생성합니다. 저주파 조명에 대한 직접적인 제어를 허용하기 위해 외형을 조명 방향에 매개변수화된 멀티 레이어 퍼셉트론으로 표현합니다. 멀티뷰 일관성을 강제하고 부정확성을 극복하기 위해 이미지당 보조 특징 벡터를 최적화합니다. 우리는 단일 조명 하의 합성 및 실제 멀티뷰 데이터에 대한 결과를 보여주며, 2D 확산 모델 사전 정보를 성공적으로 활용하여 완전한 장면에 대한 현실적인 3D 재조명을 가능케 하는 것을 입증합니다. 프로젝트 사이트: https://repo-sam.inria.fr/fungraph/generative-radiance-field-relighting/

English

Relighting radiance fields is severely underconstrained for multi-view data, which is most often captured under a single illumination condition; It is especially hard for full scenes containing multiple objects. We introduce a method to create relightable radiance fields using such single-illumination data by exploiting priors extracted from 2D image diffusion models. We first fine-tune a 2D diffusion model on a multi-illumination dataset conditioned by light direction, allowing us to augment a single-illumination capture into a realistic -- but possibly inconsistent -- multi-illumination dataset from directly defined light directions. We use this augmented data to create a relightable radiance field represented by 3D Gaussian splats. To allow direct control of light direction for low-frequency lighting, we represent appearance with a multi-layer perceptron parameterized on light direction. To enforce multi-view consistency and overcome inaccuracies we optimize a per-image auxiliary feature vector. We show results on synthetic and real multi-view data under single illumination, demonstrating that our method successfully exploits 2D diffusion model priors to allow realistic 3D relighting for complete scenes. Project site https://repo-sam.inria.fr/fungraph/generative-radiance-field-relighting/