SynthLight: Portretbelichting met diffusiemodel door te leren om synthetische gezichten opnieuw te renderen.

SynthLight: Portrait Relighting with Diffusion Model by Learning to Re-render Synthetic Faces

January 16, 2025

Auteurs: Sumit Chaturvedi, Mengwei Ren, Yannick Hold-Geoffroy, Jingyuan Liu, Julie Dorsey, Zhixin Shu

cs.AI

Samenvatting

We introduceren SynthLight, een diffusiemodel voor portretbelichting. Onze benadering ziet beeldbelichting als een probleem van herrendering, waarbij pixels worden getransformeerd als reactie op veranderingen in omgevingslichtomstandigheden. Met behulp van een op fysica gebaseerde renderengine synthetiseren we een dataset om deze belichtingsafhankelijke transformatie te simuleren met 3D-hoofdobjecten onder variërende belichting. We stellen twee trainings- en inferentiestrategieën voor om de kloof tussen de synthetische en echte beelddomeinen te overbruggen: (1) multi-task training die profiteert van echte menselijke portretten zonder belichtingslabels; (2) een inferentietijd diffusie samplingprocedure op basis van classifier-vrije begeleiding die het invoerportret benut om details beter te behouden. Onze methode generaliseert naar diverse echte foto's en produceert realistische verlichtingseffecten, inclusief spiegelende hooglichten en werp-schaduwen, terwijl de identiteit van het onderwerp behouden blijft. Onze kwantitatieve experimenten op Light Stage-gegevens tonen resultaten die vergelijkbaar zijn met state-of-the-art belichtingsmethoden. Onze kwalitatieve resultaten op in-the-wild beelden tonen rijke en ongekende verlichtingseffecten. Projectpagina: https://vrroom.github.io/synthlight/

English

We introduce SynthLight, a diffusion model for portrait relighting. Our approach frames image relighting as a re-rendering problem, where pixels are transformed in response to changes in environmental lighting conditions. Using a physically-based rendering engine, we synthesize a dataset to simulate this lighting-conditioned transformation with 3D head assets under varying lighting. We propose two training and inference strategies to bridge the gap between the synthetic and real image domains: (1) multi-task training that takes advantage of real human portraits without lighting labels; (2) an inference time diffusion sampling procedure based on classifier-free guidance that leverages the input portrait to better preserve details. Our method generalizes to diverse real photographs and produces realistic illumination effects, including specular highlights and cast shadows, while preserving the subject's identity. Our quantitative experiments on Light Stage data demonstrate results comparable to state-of-the-art relighting methods. Our qualitative results on in-the-wild images showcase rich and unprecedented illumination effects. Project Page: https://vrroom.github.io/synthlight/