야생에서의 다채로운 확산 내재 이미지 분해

Colorful Diffuse Intrinsic Image Decomposition in the Wild

September 20, 2024

저자: Chris Careaga, Yağız Aksoy

cs.AI

초록

내재적 이미지 분해는 단일 사진을 기반으로 표면 반사와 조명 효과를 분리하는 것을 목표로 합니다. 문제의 복잡성으로 인해 대부분의 이전 연구는 단일 색조 조명과 Lambertian 세계를 가정하며, 이는 조명을 인식하는 이미지 편집 응용 프로그램에서의 활용을 제한합니다. 본 연구에서는 입력 이미지를 확산 알베도, 다채로운 확산 셰이딩 및 반사 잔류 구성 요소로 분리합니다. 우리는 먼저 단일 색조 조명을 제거한 다음 Lambertian 세계 가정을 제거함으로써 결과를 도출합니다. 우리는 문제를 더 쉬운 하위 문제로 분할함으로써, 한정된 그라운드 트루스 데이터셋에도 불구하고 야외 다채로운 확산 셰이딩 추정을 달성할 수 있음을 보여줍니다. 우리의 확장된 내재적 모델은 사진의 조명을 고려한 분석을 가능하게 하며, 반짝임 제거 및 픽셀별 백색 균형 조정과 같은 이미지 편집 응용 프로그램에 사용할 수 있습니다.

English

Intrinsic image decomposition aims to separate the surface reflectance and the effects from the illumination given a single photograph. Due to the complexity of the problem, most prior works assume a single-color illumination and a Lambertian world, which limits their use in illumination-aware image editing applications. In this work, we separate an input image into its diffuse albedo, colorful diffuse shading, and specular residual components. We arrive at our result by gradually removing first the single-color illumination and then the Lambertian-world assumptions. We show that by dividing the problem into easier sub-problems, in-the-wild colorful diffuse shading estimation can be achieved despite the limited ground-truth datasets. Our extended intrinsic model enables illumination-aware analysis of photographs and can be used for image editing applications such as specularity removal and per-pixel white balancing.