SynthLight：拡散モデルによるポートレートのリライティングを学習して合成顔を再レンダリングする

SynthLight: Portrait Relighting with Diffusion Model by Learning to Re-render Synthetic Faces

January 16, 2025

著者: Sumit Chaturvedi, Mengwei Ren, Yannick Hold-Geoffroy, Jingyuan Liu, Julie Dorsey, Zhixin Shu

cs.AI

要旨

SynthLightという、ポートレートのリライティングのための拡散モデルを紹介します。当手法は、画像のリライティングを再レンダリング問題として捉え、ピクセルを環境光条件の変化に応じて変換します。物理ベースのレンダリングエンジンを用いて、3Dヘッドアセットを用いたさまざまな光条件下での変換をシミュレートするデータセットを合成します。我々は、合成と実画像のドメイン間のギャップを埋めるための2つのトレーニングおよび推論戦略を提案します：（1）照明ラベルのない実際の人物のポートレートを活用するマルチタスクトレーニング；（2）入力ポートレートを活用して詳細をよりよく保持する、クラシファイアフリーガイダンスに基づく推論時の拡散サンプリング手法。当手法は多様な実写真に汎化し、光沢のあるハイライトや影の投影を含むリアルな照明効果を生成し、被写体の特徴を保持します。Light Stageデータにおける定量的実験では、最先端のリライティング手法と比較可能な結果を示します。野外の画像に対する質的結果は、豊かでこれまでにない照明効果を示しています。プロジェクトページ：https://vrroom.github.io/synthlight/

English

We introduce SynthLight, a diffusion model for portrait relighting. Our approach frames image relighting as a re-rendering problem, where pixels are transformed in response to changes in environmental lighting conditions. Using a physically-based rendering engine, we synthesize a dataset to simulate this lighting-conditioned transformation with 3D head assets under varying lighting. We propose two training and inference strategies to bridge the gap between the synthetic and real image domains: (1) multi-task training that takes advantage of real human portraits without lighting labels; (2) an inference time diffusion sampling procedure based on classifier-free guidance that leverages the input portrait to better preserve details. Our method generalizes to diverse real photographs and produces realistic illumination effects, including specular highlights and cast shadows, while preserving the subject's identity. Our quantitative experiments on Light Stage data demonstrate results comparable to state-of-the-art relighting methods. Our qualitative results on in-the-wild images showcase rich and unprecedented illumination effects. Project Page: https://vrroom.github.io/synthlight/