SynthLight: Illuminazione ritratto con modello di diffusione tramite apprendimento per rirenderizzare volti sintetici

SynthLight: Portrait Relighting with Diffusion Model by Learning to Re-render Synthetic Faces

January 16, 2025

Autori: Sumit Chaturvedi, Mengwei Ren, Yannick Hold-Geoffroy, Jingyuan Liu, Julie Dorsey, Zhixin Shu

cs.AI

Abstract

Introduciamo SynthLight, un modello di diffusione per il relighting di ritratti. Il nostro approccio concepisce il relighting delle immagini come un problema di rirenderizzazione, in cui i pixel vengono trasformati in risposta ai cambiamenti delle condizioni di illuminazione ambientale. Utilizzando un motore di rendering basato sulla fisica, sintetizziamo un dataset per simulare questa trasformazione condizionata dall'illuminazione con asset di teste 3D sotto varie illuminazioni. Proponiamo due strategie di addestramento e inferenza per colmare il divario tra i domini delle immagini sintetiche e reali: (1) addestramento multi-task che sfrutta veri ritratti umani senza etichette di illuminazione; (2) una procedura di campionamento a diffusione al momento dell'inferenza basata su una guida senza classificatore che sfrutta il ritratto in ingresso per preservare meglio i dettagli. Il nostro metodo si generalizza a diverse fotografie reali e produce effetti di illuminazione realistici, inclusi riflessi speculari e ombre proiettate, preservando nel contempo l'identità del soggetto. I nostri esperimenti quantitativi sui dati di Light Stage dimostrano risultati comparabili ai metodi di relighting all'avanguardia. I nostri risultati qualitativi su immagini in-the-wild mostrano effetti di illuminazione ricchi e senza precedenti. Pagina del Progetto: https://vrroom.github.io/synthlight/

English

We introduce SynthLight, a diffusion model for portrait relighting. Our approach frames image relighting as a re-rendering problem, where pixels are transformed in response to changes in environmental lighting conditions. Using a physically-based rendering engine, we synthesize a dataset to simulate this lighting-conditioned transformation with 3D head assets under varying lighting. We propose two training and inference strategies to bridge the gap between the synthetic and real image domains: (1) multi-task training that takes advantage of real human portraits without lighting labels; (2) an inference time diffusion sampling procedure based on classifier-free guidance that leverages the input portrait to better preserve details. Our method generalizes to diverse real photographs and produces realistic illumination effects, including specular highlights and cast shadows, while preserving the subject's identity. Our quantitative experiments on Light Stage data demonstrate results comparable to state-of-the-art relighting methods. Our qualitative results on in-the-wild images showcase rich and unprecedented illumination effects. Project Page: https://vrroom.github.io/synthlight/