현실 반영: 확산 모델이 충실한 거울 반사를 생성할 수 있도록 하기

Reflecting Reality: Enabling Diffusion Models to Produce Faithful Mirror Reflections

September 23, 2024

저자: Ankit Dhiman, Manan Shah, Rishubh Parihar, Yash Bhalgat, Lokesh R Boregowda, R Venkatesh Babu

cs.AI

초록

우리는 확산 기반 생성 모델을 사용하여 매우 현실적이고 타당한 거울 반사를 생성하는 문제에 대처합니다. 우리는 이 문제를 이미지 인페인팅 작업으로 정의하여 생성 프로세스 중 거울의 배치에 대한 사용자 제어를 더 많이 허용합니다. 이를 가능하게 하기 위해 우리는 SynMirror라는 다양한 합성 장면의 대규모 데이터셋을 만들었습니다. SynMirror에는 거울 앞에 배치된 물체가 포함된 약 198,000개의 샘플이 포함되어 있으며, 이는 66,000개의 고유한 3D 물체에서 렌더링되었습니다. 이 데이터셋에는 장면의 관련 기하학적 특성을 캡처하기 위해 깊이 맵, 법선 맵 및 인스턴스별 분할 마스크가 포함되어 있습니다. 이 데이터셋을 사용하여 우리는 입력 이미지와 거울 영역을 나타내는 마스크를 제공하면 고품질의 기하학적 일관성과 사실적인 거울 반사를 생성하는 새로운 깊이 조건 인페인팅 방법인 MirrorFusion을 제안합니다. MirrorFusion은 SynMirror에서 최첨단 방법을 능가하는 것으로 입증되었으며, 이는 포괄적인 양적 및 질적 분석에 의해 시연되었습니다. 우리의 지식으로는 확산 기반 모델을 사용하여 장면의 물체의 제어 가능하고 충실한 거울 반사를 성공적으로 다룬 첫 번째 연구입니다. SynMirror와 MirrorFusion은 실무자와 연구자들을 위한 이미지 편집 및 증강 현실 응용 프로그램에 대한 새로운 가능성을 열어줍니다.

English

We tackle the problem of generating highly realistic and plausible mirror reflections using diffusion-based generative models. We formulate this problem as an image inpainting task, allowing for more user control over the placement of mirrors during the generation process. To enable this, we create SynMirror, a large-scale dataset of diverse synthetic scenes with objects placed in front of mirrors. SynMirror contains around 198K samples rendered from 66K unique 3D objects, along with their associated depth maps, normal maps and instance-wise segmentation masks, to capture relevant geometric properties of the scene. Using this dataset, we propose a novel depth-conditioned inpainting method called MirrorFusion, which generates high-quality geometrically consistent and photo-realistic mirror reflections given an input image and a mask depicting the mirror region. MirrorFusion outperforms state-of-the-art methods on SynMirror, as demonstrated by extensive quantitative and qualitative analysis. To the best of our knowledge, we are the first to successfully tackle the challenging problem of generating controlled and faithful mirror reflections of an object in a scene using diffusion based models. SynMirror and MirrorFusion open up new avenues for image editing and augmented reality applications for practitioners and researchers alike.