스폿라이트: 확산을 통한 그림자 안내 객체 재조명

초록

최근 연구에서는 확산 모델이 강력한 신경 렌더링 엔진으로 사용될 수 있음을 보여주었는데, 이는 가상 객체를 이미지에 삽입하는 데 활용될 수 있다. 그러나 전형적인 물리 기반 렌더러와 달리, 신경 렌더링 엔진은 종종 원하는 이미지 결과를 개선하거나 개인화하는 데 중요한 조명 설정에 대한 수동 제어 부재로 제한된다. 본 논문에서는 객체 조명을 위해 원하는 그림자를 명시함으로써 정확한 조명 제어가 가능함을 보여준다. 놀랍게도, 사전 훈련된 확산 기반 신경 렌더러에 객체의 그림자만 주입함으로써, 원하는 빛 위치에 따라 객체를 정확하게 음영 처리하고, 객체(및 그 그림자)를 목표 배경 이미지 내에서 적절하게 조화시킬 수 있다는 것을 보여준다. 우리의 방법인 SpotLight는 기존의 신경 렌더링 접근 방식을 활용하며 추가 훈련 없이 조정 가능한 조명 결과를 달성한다. 구체적으로, 우리는 최근 문헌에서 두 가지 신경 렌더러와 함께 그 사용을 시연한다. SpotLight가 기존의 조명 설정을 위해 특별히 설계된 확산 기반 모델을 능가하는 사용자 연구에 의해 확인된 것처럼, 양적 및 인지적으로 우수한 객체 합성 결과를 달성함을 보여준다.

English

Recent work has shown that diffusion models can be used as powerful neural rendering engines that can be leveraged for inserting virtual objects into images. Unlike typical physics-based renderers, however, neural rendering engines are limited by the lack of manual control over the lighting setup, which is often essential for improving or personalizing the desired image outcome. In this paper, we show that precise lighting control can be achieved for object relighting simply by specifying the desired shadows of the object. Rather surprisingly, we show that injecting only the shadow of the object into a pre-trained diffusion-based neural renderer enables it to accurately shade the object according to the desired light position, while properly harmonizing the object (and its shadow) within the target background image. Our method, SpotLight, leverages existing neural rendering approaches and achieves controllable relighting results with no additional training. Specifically, we demonstrate its use with two neural renderers from the recent literature. We show that SpotLight achieves superior object compositing results, both quantitatively and perceptually, as confirmed by a user study, outperforming existing diffusion-based models specifically designed for relighting.

스폿라이트: 확산을 통한 그림자 안내 객체 재조명

SpotLight: Shadow-Guided Object Relighting via Diffusion

초록

Summary

Support