SpotLight: Illuminazione guidata dall'ombra degli oggetti tramite diffusione

SpotLight: Shadow-Guided Object Relighting via Diffusion

November 27, 2024

Autori: Frédéric Fortier-Chouinard, Zitian Zhang, Louis-Etienne Messier, Mathieu Garon, Anand Bhattad, Jean-François Lalonde

cs.AI

Abstract

Lavori recenti hanno dimostrato che i modelli di diffusione possono essere utilizzati come potenti motori di rendering neurale che possono essere sfruttati per inserire oggetti virtuali nelle immagini. A differenza dei renderizzatori basati sulla fisica tipici, tuttavia, i motori di rendering neurali sono limitati dalla mancanza di controllo manuale sull'illuminazione, che è spesso essenziale per migliorare o personalizzare l'immagine desiderata. In questo articolo, mostriamo che un controllo preciso dell'illuminazione può essere ottenuto per il relighting degli oggetti semplicemente specificando le ombre desiderate dell'oggetto. Piuttosto sorprendentemente, mostriamo che iniettare solo l'ombra dell'oggetto in un motore di rendering neurale basato sulla diffusione pre-addestrato consente di ombreggiare accuratamente l'oggetto in base alla posizione della luce desiderata, armonizzando correttamente l'oggetto (e la sua ombra) all'interno dell'immagine di sfondo target. Il nostro metodo, SpotLight, sfrutta approcci di rendering neurale esistenti e ottiene risultati di relighting controllabili senza ulteriore addestramento. In particolare, dimostriamo il suo utilizzo con due renderizzatori neurali presenti nella letteratura recente. Mostriamo che SpotLight ottiene risultati superiori nella composizione degli oggetti, sia quantitativamente che percettivamente, come confermato da uno studio condotto sugli utenti, superando i modelli basati sulla diffusione esistenti progettati specificamente per il relighting.

English

Recent work has shown that diffusion models can be used as powerful neural rendering engines that can be leveraged for inserting virtual objects into images. Unlike typical physics-based renderers, however, neural rendering engines are limited by the lack of manual control over the lighting setup, which is often essential for improving or personalizing the desired image outcome. In this paper, we show that precise lighting control can be achieved for object relighting simply by specifying the desired shadows of the object. Rather surprisingly, we show that injecting only the shadow of the object into a pre-trained diffusion-based neural renderer enables it to accurately shade the object according to the desired light position, while properly harmonizing the object (and its shadow) within the target background image. Our method, SpotLight, leverages existing neural rendering approaches and achieves controllable relighting results with no additional training. Specifically, we demonstrate its use with two neural renderers from the recent literature. We show that SpotLight achieves superior object compositing results, both quantitatively and perceptually, as confirmed by a user study, outperforming existing diffusion-based models specifically designed for relighting.