생성 밀도화: 고품질 일반화 가능한 3D 재구성을 위한 가우시안 밀도화 학습

Generative Densification: Learning to Densify Gaussians for High-Fidelity Generalizable 3D Reconstruction

December 9, 2024

저자: Seungtae Nam, Xiangyu Sun, Gyeongjin Kang, Younggeun Lee, Seungjun Oh, Eunbyung Park

cs.AI

초록

일반화된 피드포워드 가우시안 모델은 대규모 다중 뷰 데이터셋으로부터의 사전 지식을 활용하여 희소한 뷰 3D 재구성에서 상당한 진전을 이루었습니다. 그러나 이러한 모델들은 종종 가우시안의 제한된 수로 인해 고주파 세부 사항을 표현하는 데 어려움을 겪습니다. per-scene 3D 가우시안 스플래팅 (3D-GS) 최적화에서 사용된 밀집화 전략은 피드포워드 모델에 적응시킬 수 있지만, 일반화된 시나리오에 적합하지 않을 수 있습니다. 본 논문에서는 효율적이고 일반화 가능한 Generative Densification 방법을 제안합니다. 3D-GS 밀집화 전략과 달리, 우리의 방법은 피드포워드 모델로부터 특징 표현을 업샘플링하고 그에 해당하는 세부 가우시안을 단일 전방향 패스에서 생성하여 포함된 사전 지식을 활용하여 향상된 일반화를 달성합니다. 객체 수준 및 장면 수준 재구성 작업에 대한 실험 결과는 우리의 방법이 상태-of-the-art 접근 방식을 능가하며, 비교적 작거나 유사한 모델 크기로 세부 사항을 효과적으로 표현하는 뚜렷한 개선을 이룬다는 것을 보여줍니다.

English

Generalized feed-forward Gaussian models have achieved significant progress in sparse-view 3D reconstruction by leveraging prior knowledge from large multi-view datasets. However, these models often struggle to represent high-frequency details due to the limited number of Gaussians. While the densification strategy used in per-scene 3D Gaussian splatting (3D-GS) optimization can be adapted to the feed-forward models, it may not be ideally suited for generalized scenarios. In this paper, we propose Generative Densification, an efficient and generalizable method to densify Gaussians generated by feed-forward models. Unlike the 3D-GS densification strategy, which iteratively splits and clones raw Gaussian parameters, our method up-samples feature representations from the feed-forward models and generates their corresponding fine Gaussians in a single forward pass, leveraging the embedded prior knowledge for enhanced generalization. Experimental results on both object-level and scene-level reconstruction tasks demonstrate that our method outperforms state-of-the-art approaches with comparable or smaller model sizes, achieving notable improvements in representing fine details.