LumiNet: Intrinseci Latenti Incontrano Modelli di Diffusione per il Rilievo delle Scene Interne

LumiNet: Latent Intrinsics Meets Diffusion Models for Indoor Scene Relighting

November 29, 2024

Autori: Xiaoyan Xing, Konrad Groh, Sezer Karaoglu, Theo Gevers, Anand Bhattad

cs.AI

Abstract

Introduciamo LumiNet, una nuova architettura che sfrutta modelli generativi e rappresentazioni intrinseche latenti per un efficace trasferimento dell'illuminazione. Dato un'immagine di origine e un'immagine di illuminazione di destinazione, LumiNet sintetizza una versione rilucente della scena di origine che cattura l'illuminazione di destinazione. Il nostro approccio apporta due contributi chiave: una strategia di cura dei dati dal modello di illuminazione basato su StyleGAN per il nostro addestramento e un ControlNet basato sulla diffusione modificata che elabora sia le proprietà intrinseche latenti dell'immagine di origine che le proprietà estrinseche latenti dell'immagine di destinazione. Miglioriamo ulteriormente il trasferimento dell'illuminazione attraverso un adattatore appreso (MLP) che inietta le proprietà estrinseche latenti della destinazione tramite attenzione incrociata e raffinamento. A differenza del tradizionale ControlNet, che genera immagini con mappe condizionali da una singola scena, LumiNet elabora rappresentazioni latenti da due immagini diverse - preservando geometria e albedo dalla sorgente mentre trasferisce le caratteristiche dell'illuminazione dalla destinazione. Gli esperimenti dimostrano che il nostro metodo trasferisce con successo fenomeni di illuminazione complessi, inclusi riflessi speculari e illuminazione indiretta tra scene con layout spaziali e materiali variabili, superando gli approcci esistenti su scene interne impegnative utilizzando solo immagini come input.

English

We introduce LumiNet, a novel architecture that leverages generative models and latent intrinsic representations for effective lighting transfer. Given a source image and a target lighting image, LumiNet synthesizes a relit version of the source scene that captures the target's lighting. Our approach makes two key contributions: a data curation strategy from the StyleGAN-based relighting model for our training, and a modified diffusion-based ControlNet that processes both latent intrinsic properties from the source image and latent extrinsic properties from the target image. We further improve lighting transfer through a learned adaptor (MLP) that injects the target's latent extrinsic properties via cross-attention and fine-tuning. Unlike traditional ControlNet, which generates images with conditional maps from a single scene, LumiNet processes latent representations from two different images - preserving geometry and albedo from the source while transferring lighting characteristics from the target. Experiments demonstrate that our method successfully transfers complex lighting phenomena including specular highlights and indirect illumination across scenes with varying spatial layouts and materials, outperforming existing approaches on challenging indoor scenes using only images as input.