PanoDreamer: 단일 이미지로부터의 3D 파노라마 합성

PanoDreamer: 3D Panorama Synthesis from a Single Image

December 6, 2024

저자: Avinash Paliwal, Xilong Zhou, Andrii Tsarov, Nima Khademi Kalantari

cs.AI

초록

본 논문에서는 단일 입력 이미지로부터 일관된 360도 3D 장면을 생성하는 새로운 방법인 PanoDreamer를 제안합니다. 장면을 순차적으로 생성하는 기존 방법과는 달리, 우리는 문제를 단일 이미지 파노라마 및 깊이 추정으로 구성합니다. 한 번 일관된 파노라마 이미지와 해당하는 깊이를 얻으면, 작은 가려진 영역을 보정하고 3D 공간으로 투영하여 장면을 재구성할 수 있습니다. 우리의 주요 기여는 단일 이미지 파노라마 및 깊이 추정을 두 가지 최적화 작업으로 정의하고 교대 최소화 전략을 소개하여 효과적으로 목표를 해결하는 것입니다. 우리의 접근 방식이 일관성과 전반적인 품질 측면에서 기존 기술을 능가함을 입증합니다.

English

In this paper, we present PanoDreamer, a novel method for producing a coherent 360^circ 3D scene from a single input image. Unlike existing methods that generate the scene sequentially, we frame the problem as single-image panorama and depth estimation. Once the coherent panoramic image and its corresponding depth are obtained, the scene can be reconstructed by inpainting the small occluded regions and projecting them into 3D space. Our key contribution is formulating single-image panorama and depth estimation as two optimization tasks and introducing alternating minimization strategies to effectively solve their objectives. We demonstrate that our approach outperforms existing techniques in single-image 360^circ scene reconstruction in terms of consistency and overall quality.