SynthLight: Porträtbeleuchtung mit Diffusionsmodell durch das Lernen, synthetische Gesichter neu zu rendern.

SynthLight: Portrait Relighting with Diffusion Model by Learning to Re-render Synthetic Faces

January 16, 2025

Autoren: Sumit Chaturvedi, Mengwei Ren, Yannick Hold-Geoffroy, Jingyuan Liu, Julie Dorsey, Zhixin Shu

cs.AI

Zusammenfassung

Wir stellen SynthLight vor, ein Diffusionsmodell für das Neubeleuchten von Porträts. Unser Ansatz betrachtet das Neubeleuchten von Bildern als ein Problem der Neurenderung, bei dem Pixel in Reaktion auf Veränderungen der Umgebungsbeleuchtung transformiert werden. Mithilfe eines physikalisch basierten Rendermotors synthetisieren wir einen Datensatz, um diese beleuchtungsbedingte Transformation mit 3D-Kopfobjekten unter unterschiedlichen Lichtverhältnissen zu simulieren. Wir schlagen zwei Trainings- und Inferenzstrategien vor, um die Kluft zwischen den synthetischen und realen Bildbereichen zu überbrücken: (1) Mehrfachaufgaben-Training, das von echten menschlichen Porträts ohne Beleuchtungsetiketten profitiert; (2) ein Inferenzzeit-Diffusionsabtastverfahren basierend auf klassifiziererfreier Führung, das das Eingangsporträt nutzt, um Details besser zu erhalten. Unsere Methode generalisiert auf vielfältige reale Fotografien und erzeugt realistische Beleuchtungseffekte, einschließlich Spitzlichtern und Schattenwürfen, während sie die Identität des Motivs bewahrt. Unsere quantitativen Experimente mit Light-Stage-Daten zeigen Ergebnisse, die mit State-of-the-Art-Neubeleuchtungsmethoden vergleichbar sind. Unsere qualitativen Ergebnisse bei In-the-Wild-Bildern präsentieren reiche und noch nie dagewesene Beleuchtungseffekte. Projekthomepage: https://vrroom.github.io/synthlight/

English

We introduce SynthLight, a diffusion model for portrait relighting. Our approach frames image relighting as a re-rendering problem, where pixels are transformed in response to changes in environmental lighting conditions. Using a physically-based rendering engine, we synthesize a dataset to simulate this lighting-conditioned transformation with 3D head assets under varying lighting. We propose two training and inference strategies to bridge the gap between the synthetic and real image domains: (1) multi-task training that takes advantage of real human portraits without lighting labels; (2) an inference time diffusion sampling procedure based on classifier-free guidance that leverages the input portrait to better preserve details. Our method generalizes to diverse real photographs and produces realistic illumination effects, including specular highlights and cast shadows, while preserving the subject's identity. Our quantitative experiments on Light Stage data demonstrate results comparable to state-of-the-art relighting methods. Our qualitative results on in-the-wild images showcase rich and unprecedented illumination effects. Project Page: https://vrroom.github.io/synthlight/