BlockGaussian: Sintesi Efficiente di Nuove Visualizzazioni su Grande Scala di Scene tramite Splatting Gaussiano Adattivo Basato su Blocchi

BlockGaussian: Efficient Large-Scale Scene Novel View Synthesis via Adaptive Block-Based Gaussian Splatting

April 12, 2025

Autori: Yongchang Wu, Zipeng Qi, Zhenwei Shi, Zhengxia Zou

cs.AI

Abstract

I recenti progressi nel campo del 3D Gaussian Splatting (3DGS) hanno dimostrato un potenziale notevole nelle attività di sintesi di nuove viste. Il paradigma divide-et-impera ha reso possibile la ricostruzione di scene su larga scala, ma permangono sfide significative nei processi di partizionamento della scena, ottimizzazione e fusione. Questo articolo introduce BlockGaussian, un nuovo framework che incorpora una strategia di partizionamento della scena basata sul contenuto e un'ottimizzazione a blocchi consapevole della visibilità, per ottenere una ricostruzione efficiente e di alta qualità di scene su larga scala. Nello specifico, il nostro approccio considera la variazione della complessità del contenuto tra diverse regioni e bilancia il carico computazionale durante il partizionamento della scena, consentendo una ricostruzione efficiente. Per affrontare il problema della mancata corrispondenza della supervisione durante l'ottimizzazione indipendente dei blocchi, introduciamo punti ausiliari durante l'ottimizzazione dei singoli blocchi per allineare la supervisione con la verità di base, migliorando così la qualità della ricostruzione. Inoltre, proponiamo un vincolo geometrico pseudo-visuale che mitiga efficacemente il degrado del rendering causato dai floater nello spazio aereo durante la fusione dei blocchi. Esperimenti estesi su scene di grandi dimensioni dimostrano che il nostro approccio raggiunge prestazioni all'avanguardia sia in termini di efficienza di ricostruzione che di qualità del rendering, con un'accelerazione di 5x nell'ottimizzazione e un miglioramento medio del PSNR di 1.21 dB su più benchmark. È importante notare che BlockGaussian riduce significativamente i requisiti computazionali, consentendo la ricostruzione di scene su larga scala su un singolo dispositivo con 24GB di VRAM. La pagina del progetto è disponibile all'indirizzo https://github.com/SunshineWYC/BlockGaussian.

English

The recent advancements in 3D Gaussian Splatting (3DGS) have demonstrated remarkable potential in novel view synthesis tasks. The divide-and-conquer paradigm has enabled large-scale scene reconstruction, but significant challenges remain in scene partitioning, optimization, and merging processes. This paper introduces BlockGaussian, a novel framework incorporating a content-aware scene partition strategy and visibility-aware block optimization to achieve efficient and high-quality large-scale scene reconstruction. Specifically, our approach considers the content-complexity variation across different regions and balances computational load during scene partitioning, enabling efficient scene reconstruction. To tackle the supervision mismatch issue during independent block optimization, we introduce auxiliary points during individual block optimization to align the ground-truth supervision, which enhances the reconstruction quality. Furthermore, we propose a pseudo-view geometry constraint that effectively mitigates rendering degradation caused by airspace floaters during block merging. Extensive experiments on large-scale scenes demonstrate that our approach achieves state-of-the-art performance in both reconstruction efficiency and rendering quality, with a 5x speedup in optimization and an average PSNR improvement of 1.21 dB on multiple benchmarks. Notably, BlockGaussian significantly reduces computational requirements, enabling large-scale scene reconstruction on a single 24GB VRAM device. The project page is available at https://github.com/SunshineWYC/BlockGaussian