PanoDreamer: Sintesi di Panorama 3D da un'Immagine Singola

PanoDreamer: 3D Panorama Synthesis from a Single Image

December 6, 2024

Autori: Avinash Paliwal, Xilong Zhou, Andrii Tsarov, Nima Khademi Kalantari

cs.AI

Abstract

In questo articolo, presentiamo PanoDreamer, un nuovo metodo per produrre una scena coerente in 3D a 360° da un'unica immagine di input. A differenza dei metodi esistenti che generano la scena in modo sequenziale, formuliamo il problema come stima di panorama e profondità da singola immagine. Una volta ottenuta l'immagine panoramica coerente e la relativa profondità, la scena può essere ricostruita riempiendo le piccole regioni occulse e proiettandole nello spazio 3D. Il nostro contributo principale consiste nel formulare la stima di panorama e profondità da singola immagine come due compiti di ottimizzazione e nell'introdurre strategie di minimizzazione alternata per risolvere efficacemente i loro obiettivi. Dimostriamo che il nostro approccio supera le tecniche esistenti nella ricostruzione di scene a 360° da singola immagine in termini di coerenza e qualità complessiva.

English

In this paper, we present PanoDreamer, a novel method for producing a coherent 360^circ 3D scene from a single input image. Unlike existing methods that generate the scene sequentially, we frame the problem as single-image panorama and depth estimation. Once the coherent panoramic image and its corresponding depth are obtained, the scene can be reconstructed by inpainting the small occluded regions and projecting them into 3D space. Our key contribution is formulating single-image panorama and depth estimation as two optimization tasks and introducing alternating minimization strategies to effectively solve their objectives. We demonstrate that our approach outperforms existing techniques in single-image 360^circ scene reconstruction in terms of consistency and overall quality.