Splatting Convesso in 3D: Rendering del Campo di Radiazione con Convessi Lisci in 3D

3D Convex Splatting: Radiance Field Rendering with 3D Smooth Convexes

November 22, 2024

Autori: Jan Held, Renaud Vandeghen, Abdullah Hamdi, Adrien Deliege, Anthony Cioppa, Silvio Giancola, Andrea Vedaldi, Bernard Ghanem, Marc Van Droogenbroeck

cs.AI

Abstract

Recenti progressi nella ricostruzione del campo di radianza, come lo Splatting Gaussiano 3D (3DGS), hanno raggiunto una sintesi di nuove visuali di alta qualità e un rendering veloce rappresentando scene con composizioni di primitive gaussiane. Tuttavia, i Gaussiani 3D presentano diverse limitazioni per la ricostruzione delle scene. Catturare con precisione i bordi netti è sfidante senza aumentare significativamente il numero di Gaussiane, creando un grande impatto sulla memoria. Inoltre, faticano a rappresentare superfici piane, poiché si diffondono nello spazio. Senza regolarizzatori artigianali, tendono a dispersi irregolarmente intorno alla superficie effettiva. Per superare questi problemi, introduciamo un nuovo metodo, chiamato Splatting Convesso 3D (3DCS), che sfrutta convessi lisci in 3D come primitive per modellare campi di radianza geometricamente significativi da immagini multi-vista. Le forme convexe lisce offrono una maggiore flessibilità rispetto ai Gaussiani, consentendo una migliore rappresentazione di scene 3D con bordi netti e volumi densi utilizzando meno primitive. Potenziato dal nostro rasterizzatore efficiente basato su CUDA, 3DCS raggiunge prestazioni superiori rispetto a 3DGS su benchmark come Mip-NeRF360, Tanks and Temples e Deep Blending. In particolare, il nostro metodo ottiene un miglioramento fino a 0.81 in PSNR e 0.026 in LPIPS rispetto a 3DGS mantenendo alte velocità di rendering e riducendo il numero di primitive richieste. I nostri risultati evidenziano il potenziale dello Splatting Convesso 3D per diventare il nuovo standard per la ricostruzione di scene di alta qualità e la sintesi di nuove visuali. Pagina del progetto: convexsplatting.github.io.

English

Recent advances in radiance field reconstruction, such as 3D Gaussian Splatting (3DGS), have achieved high-quality novel view synthesis and fast rendering by representing scenes with compositions of Gaussian primitives. However, 3D Gaussians present several limitations for scene reconstruction. Accurately capturing hard edges is challenging without significantly increasing the number of Gaussians, creating a large memory footprint. Moreover, they struggle to represent flat surfaces, as they are diffused in space. Without hand-crafted regularizers, they tend to disperse irregularly around the actual surface. To circumvent these issues, we introduce a novel method, named 3D Convex Splatting (3DCS), which leverages 3D smooth convexes as primitives for modeling geometrically-meaningful radiance fields from multi-view images. Smooth convex shapes offer greater flexibility than Gaussians, allowing for a better representation of 3D scenes with hard edges and dense volumes using fewer primitives. Powered by our efficient CUDA-based rasterizer, 3DCS achieves superior performance over 3DGS on benchmarks such as Mip-NeRF360, Tanks and Temples, and Deep Blending. Specifically, our method attains an improvement of up to 0.81 in PSNR and 0.026 in LPIPS compared to 3DGS while maintaining high rendering speeds and reducing the number of required primitives. Our results highlight the potential of 3D Convex Splatting to become the new standard for high-quality scene reconstruction and novel view synthesis. Project page: convexsplatting.github.io.