LumiNet: 실내 장면 조명을 위한 잠재 내재 요인과 확산 모델의 만남

LumiNet: Latent Intrinsics Meets Diffusion Models for Indoor Scene Relighting

November 29, 2024

저자: Xiaoyan Xing, Konrad Groh, Sezer Karaoglu, Theo Gevers, Anand Bhattad

cs.AI

초록

우리는 새로운 아키텍처인 LumiNet을 소개합니다. 이 아키텍처는 생성 모델과 잠재 내재 표현을 활용하여 효과적인 조명 전송을 달성합니다. 소스 이미지와 대상 조명 이미지가 주어지면, LumiNet은 소스 장면의 재밝힌 버전을 합성하여 대상의 조명을 캡처합니다. 우리의 접근법은 두 가지 주요 기여를 합니다: StyleGAN 기반 재밝힘 모델로부터의 데이터 선별 전략 및 소스 이미지로부터의 잠재 내재 속성과 대상 이미지로부터의 잠재 외재 속성을 모두 처리하는 수정된 확산 기반 ControlNet입니다. 우리는 또한 MLP를 통해 대상의 잠재 외재 속성을 주입하는 학습된 어댑터를 통해 조명 전송을 개선합니다. 이는 교차 주의와 세밀한 조정을 통해 이루어집니다. 전통적인 ControlNet이 단일 장면으로부터 조건부 맵을 생성하는 데 비해, LumiNet은 두 가지 다른 이미지로부터의 잠재 표현을 처리하여 소스로부터 지오메트리와 알베도를 보존하면서 대상으로부터 조명 특성을 전달합니다. 실험 결과, 우리의 방법은 복잡한 조명 현상(예: 반사 하이라이트 및 간접 조명)을 다양한 공간 레이아웃과 재료를 가진 장면 간에 성공적으로 전송하며, 입력으로 이미지만 사용하여 어려운 실내 장면에서 기존 방법을 능가합니다.

English

We introduce LumiNet, a novel architecture that leverages generative models and latent intrinsic representations for effective lighting transfer. Given a source image and a target lighting image, LumiNet synthesizes a relit version of the source scene that captures the target's lighting. Our approach makes two key contributions: a data curation strategy from the StyleGAN-based relighting model for our training, and a modified diffusion-based ControlNet that processes both latent intrinsic properties from the source image and latent extrinsic properties from the target image. We further improve lighting transfer through a learned adaptor (MLP) that injects the target's latent extrinsic properties via cross-attention and fine-tuning. Unlike traditional ControlNet, which generates images with conditional maps from a single scene, LumiNet processes latent representations from two different images - preserving geometry and albedo from the source while transferring lighting characteristics from the target. Experiments demonstrate that our method successfully transfers complex lighting phenomena including specular highlights and indirect illumination across scenes with varying spatial layouts and materials, outperforming existing approaches on challenging indoor scenes using only images as input.