Densificazione generativa: Apprendimento per densificare le gaussiane per una ricostruzione 3D ad alta fedeltà e generalizzabile.

Generative Densification: Learning to Densify Gaussians for High-Fidelity Generalizable 3D Reconstruction

December 9, 2024

Autori: Seungtae Nam, Xiangyu Sun, Gyeongjin Kang, Younggeun Lee, Seungjun Oh, Eunbyung Park

cs.AI

Abstract

I modelli Gaussiani feed-forward generalizzati hanno ottenuto significativi progressi nella ricostruzione 3D a vista scarsa, sfruttando le conoscenze pregresse da ampi dataset multi-vista. Tuttavia, questi modelli spesso faticano a rappresentare dettagli ad alta frequenza a causa del numero limitato di Gaussiane. Mentre la strategia di densificazione utilizzata nell'ottimizzazione 3D-Gaussian splatting (3D-GS) per scena può essere adattata ai modelli feed-forward, potrebbe non essere idealmente adatta per scenari generalizzati. In questo articolo, proponiamo la Densificazione Generativa, un metodo efficiente e generalizzabile per densificare le Gaussiane generate dai modelli feed-forward. A differenza della strategia di densificazione 3D-GS, che suddivide e clona iterativamente i parametri Gaussiani grezzi, il nostro metodo campiona le rappresentazioni delle caratteristiche dai modelli feed-forward e genera le loro corrispondenti Gaussiane dettagliate in un singolo passaggio in avanti, sfruttando le conoscenze pregresse incorporate per una generalizzazione migliorata. I risultati sperimentali su compiti di ricostruzione a livello di oggetto e di scena dimostrano che il nostro metodo supera gli approcci all'avanguardia con dimensioni del modello comparabili o inferiori, ottenendo miglioramenti notevoli nella rappresentazione dei dettagli fini.

English

Generalized feed-forward Gaussian models have achieved significant progress in sparse-view 3D reconstruction by leveraging prior knowledge from large multi-view datasets. However, these models often struggle to represent high-frequency details due to the limited number of Gaussians. While the densification strategy used in per-scene 3D Gaussian splatting (3D-GS) optimization can be adapted to the feed-forward models, it may not be ideally suited for generalized scenarios. In this paper, we propose Generative Densification, an efficient and generalizable method to densify Gaussians generated by feed-forward models. Unlike the 3D-GS densification strategy, which iteratively splits and clones raw Gaussian parameters, our method up-samples feature representations from the feed-forward models and generates their corresponding fine Gaussians in a single forward pass, leveraging the embedded prior knowledge for enhanced generalization. Experimental results on both object-level and scene-level reconstruction tasks demonstrate that our method outperforms state-of-the-art approaches with comparable or smaller model sizes, achieving notable improvements in representing fine details.