SelfSplat: Splatting gaussiano 3D generalizzabile senza vincoli di posa e 3D prior-free

SelfSplat: Pose-Free and 3D Prior-Free Generalizable 3D Gaussian Splatting

November 26, 2024

Autori: Gyeongjin Kang, Jisang Yoo, Jihyeon Park, Seungtae Nam, Hyeonsoo Im, Sangheon Shin, Sangpil Kim, Eunbyung Park

cs.AI

Abstract

Proponiamo SelfSplat, un nuovo modello di Splatting Gaussiano 3D progettato per eseguire una ricostruzione 3D generalizzabile senza posa e senza precedenti 3D da immagini multi-view non posate. Queste impostazioni sono intrinsecamente mal poste a causa della mancanza di dati di verità terrena, informazioni geometriche apprese e della necessità di ottenere una ricostruzione 3D accurata senza raffinamenti, rendendo difficile per i metodi convenzionali raggiungere risultati di alta qualità. Il nostro modello affronta queste sfide integrando efficacemente rappresentazioni 3D esplicite con tecniche di stima della profondità e della posa auto-supervisionate, con conseguenti miglioramenti reciproci sia nella precisione della posa che nella qualità della ricostruzione 3D. Inoltre, incorporiamo una rete di stima della posa consapevole della corrispondenza e un modulo di perfezionamento della profondità per migliorare la coerenza geometrica tra le viste, garantendo ricostruzioni 3D più accurate e stabili. Per presentare le prestazioni del nostro metodo, lo abbiamo valutato su dataset reali su larga scala, tra cui RealEstate10K, ACID e DL3DV. SelfSplat ottiene risultati superiori rispetto ai metodi precedenti all'avanguardia sia per l'aspetto che per la qualità geometrica, dimostrando inoltre forti capacità di generalizzazione tra dataset. Studi di ablation estesi e analisi convalidano anche l'efficacia dei nostri metodi proposti. Il codice e i modelli preaddestrati sono disponibili su https://gynjn.github.io/selfsplat/

English

We propose SelfSplat, a novel 3D Gaussian Splatting model designed to perform pose-free and 3D prior-free generalizable 3D reconstruction from unposed multi-view images. These settings are inherently ill-posed due to the lack of ground-truth data, learned geometric information, and the need to achieve accurate 3D reconstruction without finetuning, making it difficult for conventional methods to achieve high-quality results. Our model addresses these challenges by effectively integrating explicit 3D representations with self-supervised depth and pose estimation techniques, resulting in reciprocal improvements in both pose accuracy and 3D reconstruction quality. Furthermore, we incorporate a matching-aware pose estimation network and a depth refinement module to enhance geometry consistency across views, ensuring more accurate and stable 3D reconstructions. To present the performance of our method, we evaluated it on large-scale real-world datasets, including RealEstate10K, ACID, and DL3DV. SelfSplat achieves superior results over previous state-of-the-art methods in both appearance and geometry quality, also demonstrates strong cross-dataset generalization capabilities. Extensive ablation studies and analysis also validate the effectiveness of our proposed methods. Code and pretrained models are available at https://gynjn.github.io/selfsplat/