SynthLight: 학습을 통해 확산 모델을 사용하여 초상화 조명을 다시 렌더링하는 SynthLight

초록

우리는 SynthLight를 소개합니다. 이는 초상화 재조명을 위한 확산 모델입니다. 우리의 방법론은 이미지 재조명을 환경 조명 조건의 변화에 대한 응답으로 픽셀을 변환하는 문제로 정의합니다. 물리 기반 렌더링 엔진을 사용하여, 우리는 3D 헤드 자산에서 다양한 조명 하에서 이러한 조명 조건 변환을 시뮬레이션하기 위한 데이터셋을 합성합니다. 우리는 합성 및 실제 이미지 도메인 간의 간극을 좁히기 위한 두 가지 교육 및 추론 전략을 제안합니다: (1) 조명 레이블이 없는 실제 인물 초상화를 활용하는 멀티 태스크 교육; (2) 입력 초상화를 활용하여 세부 사항을 보다 잘 보존하는 분류기 없는 가이드를 기반으로 하는 추론 시간 확산 샘플링 절차. 우리의 방법은 다양한 실제 사진에 일반화되며, 주관의 정체성을 보존하면서 광택 및 음영과 같은 현실적인 조명 효과를 생성합니다. Light Stage 데이터에 대한 우리의 양적 실험은 최첨단 재조명 방법과 유사한 결과를 보여줍니다. 야외 이미지에 대한 우리의 질적 결과는 풍부하고 전례 없는 조명 효과를 보여줍니다. 프로젝트 페이지: https://vrroom.github.io/synthlight/

English

We introduce SynthLight, a diffusion model for portrait relighting. Our approach frames image relighting as a re-rendering problem, where pixels are transformed in response to changes in environmental lighting conditions. Using a physically-based rendering engine, we synthesize a dataset to simulate this lighting-conditioned transformation with 3D head assets under varying lighting. We propose two training and inference strategies to bridge the gap between the synthetic and real image domains: (1) multi-task training that takes advantage of real human portraits without lighting labels; (2) an inference time diffusion sampling procedure based on classifier-free guidance that leverages the input portrait to better preserve details. Our method generalizes to diverse real photographs and produces realistic illumination effects, including specular highlights and cast shadows, while preserving the subject's identity. Our quantitative experiments on Light Stage data demonstrate results comparable to state-of-the-art relighting methods. Our qualitative results on in-the-wild images showcase rich and unprecedented illumination effects. Project Page: https://vrroom.github.io/synthlight/

SynthLight: 학습을 통해 확산 모델을 사용하여 초상화 조명을 다시 렌더링하는 SynthLight

SynthLight: Portrait Relighting with Diffusion Model by Learning to Re-render Synthetic Faces

초록

Summary

Support