라이트-어-비디오: 점진적 라이트 퓨전을 통한 훈련 없는 비디오 조명 변경

Light-A-Video: Training-free Video Relighting via Progressive Light Fusion

February 12, 2025

저자: Yujie Zhou, Jiazi Bu, Pengyang Ling, Pan Zhang, Tong Wu, Qidong Huang, Jinsong Li, Xiaoyi Dong, Yuhang Zang, Yuhang Cao, Anyi Rao, Jiaqi Wang, Li Niu

cs.AI

초록

최근 대규모 데이터셋과 사전 훈련된 확산 모델에 의해 주도되는 이미지 조명 모델의 최신 발전은 일관된 조명의 부여를 가능케 했습니다. 그러나 비디오 조명은 여전히 주로 과도한 훈련 비용과 다양하고 고품질의 비디오 조명 데이터셋 부족으로 인해 뒤처지고 있습니다. 이미지 조명 모델을 프레임 단위로 간단히 적용하면 조명 원본의 불일치 및 재조명된 외관의 불일치로 인해 생성된 비디오에서 깜빡임이 발생하는 여러 문제가 발생합니다. 본 연구에서는 시간적으로 부드러운 비디오 조명을 달성하기 위한 교육 필요 없는 Light-A-Video 방법을 제안합니다. 이미지 조명 모델에서 적응된 Light-A-Video는 조명 일관성을 향상시키기 위해 두 가지 주요 기술을 도입합니다. 첫째, 우리는 일관된 조명 주의 (CLA) 모듈을 설계하여 배경 조명 원본의 생성을 안정화하기 위해 셀프 어텐션 레이어 내에서 프레임 간 상호 작용을 강화합니다. 둘째, 빛 전달 독립성의 물리적 원리를 활용하여 소스 비디오의 외관과 재조명된 외관 사이에 선형 블렌딩을 적용하고 조명의 부드러운 시간적 전환을 보장하기 위해 Progressive Light Fusion (PLF) 전략을 사용합니다. 실험 결과, Light-A-Video는 이미지 품질을 유지하면서 재조명된 비디오의 시간적 일관성을 향상시키며 프레임 간 일관된 조명 전환을 보장합니다. 프로젝트 페이지: https://bujiazi.github.io/light-a-video.github.io/.

English

Recent advancements in image relighting models, driven by large-scale datasets and pre-trained diffusion models, have enabled the imposition of consistent lighting. However, video relighting still lags, primarily due to the excessive training costs and the scarcity of diverse, high-quality video relighting datasets. A simple application of image relighting models on a frame-by-frame basis leads to several issues: lighting source inconsistency and relighted appearance inconsistency, resulting in flickers in the generated videos. In this work, we propose Light-A-Video, a training-free approach to achieve temporally smooth video relighting. Adapted from image relighting models, Light-A-Video introduces two key techniques to enhance lighting consistency. First, we design a Consistent Light Attention (CLA) module, which enhances cross-frame interactions within the self-attention layers to stabilize the generation of the background lighting source. Second, leveraging the physical principle of light transport independence, we apply linear blending between the source video's appearance and the relighted appearance, using a Progressive Light Fusion (PLF) strategy to ensure smooth temporal transitions in illumination. Experiments show that Light-A-Video improves the temporal consistency of relighted video while maintaining the image quality, ensuring coherent lighting transitions across frames. Project page: https://bujiazi.github.io/light-a-video.github.io/.