SynthLight: Переосвещение портретов с моделью диффузии путем обучения повторного воссоздания синтетических лиц

SynthLight: Portrait Relighting with Diffusion Model by Learning to Re-render Synthetic Faces

January 16, 2025

Авторы: Sumit Chaturvedi, Mengwei Ren, Yannick Hold-Geoffroy, Jingyuan Liu, Julie Dorsey, Zhixin Shu

cs.AI

Аннотация

Мы представляем SynthLight, модель диффузии для переосвещения портретов. Наш подход формулирует переосвещение изображения как проблему повторного рендеринга, где пиксели преобразуются в ответ на изменения в условиях окружающего освещения. Используя физически основанный рендеринговый движок, мы синтезируем набор данных для моделирования этого преобразования под воздействием освещения с 3D-моделями головы при различных условиях освещения. Мы предлагаем две стратегии обучения и вывода, чтобы сократить разрыв между синтетическим и реальным доменами изображений: (1) многозадачное обучение, использующее реальные портреты людей без меток освещения; (2) процедура диффузионного сэмплирования во время вывода на основе руководства без классификатора, которая использует входной портрет для лучшего сохранения деталей. Наш метод обобщается на разнообразные реальные фотографии и создает реалистичные эффекты освещения, включая зеркальные блики и бросающиеся тени, сохраняя при этом идентичность субъекта. Наши количественные эксперименты на данных Light Stage показывают результаты, сравнимые с передовыми методами переосвещения. Наши качественные результаты на изображениях "in-the-wild" демонстрируют богатые и необычные эффекты освещения. Страница проекта: https://vrroom.github.io/synthlight/

English

We introduce SynthLight, a diffusion model for portrait relighting. Our approach frames image relighting as a re-rendering problem, where pixels are transformed in response to changes in environmental lighting conditions. Using a physically-based rendering engine, we synthesize a dataset to simulate this lighting-conditioned transformation with 3D head assets under varying lighting. We propose two training and inference strategies to bridge the gap between the synthetic and real image domains: (1) multi-task training that takes advantage of real human portraits without lighting labels; (2) an inference time diffusion sampling procedure based on classifier-free guidance that leverages the input portrait to better preserve details. Our method generalizes to diverse real photographs and produces realistic illumination effects, including specular highlights and cast shadows, while preserving the subject's identity. Our quantitative experiments on Light Stage data demonstrate results comparable to state-of-the-art relighting methods. Our qualitative results on in-the-wild images showcase rich and unprecedented illumination effects. Project Page: https://vrroom.github.io/synthlight/