3D 볼록 스플래팅: 3D 부드러운 볼록체로의 광도 필드 렌더링

3D Convex Splatting: Radiance Field Rendering with 3D Smooth Convexes

November 22, 2024

저자: Jan Held, Renaud Vandeghen, Abdullah Hamdi, Adrien Deliege, Anthony Cioppa, Silvio Giancola, Andrea Vedaldi, Bernard Ghanem, Marc Van Droogenbroeck

cs.AI

초록

최근의 광도 필드 재구성 기술인 3D 가우시안 스플래팅(3DGS)과 같은 발전은 가우시안 기본체들의 조합으로 장면을 표현하여 고품질의 신규 뷰 합성과 빠른 렌더링을 달성했습니다. 그러나 3D 가우시안은 장면 재구성에 대한 여러 가지 제한을 가지고 있습니다. 경계를 정확하게 포착하는 것은 가우시안의 수를 크게 늘리지 않고는 어려우며, 이는 큰 메모리 풋프린트를 만듭니다. 게다가, 평면 표면을 표현하는 데 어려움을 겪는데, 이는 공간 안에서 확산되기 때문입니다. 손으로 만든 정규화기가 없으면, 실제 표면 주변에 불규칙하게 퍼지는 경향이 있습니다. 이러한 문제를 우회하기 위해, 우리는 3D 부드러운 볼록체를 기본체로 활용하여 다중 뷰 이미지로부터 기하학적으로 의미 있는 광도 필드를 모델링하는 새로운 방법인 3D 볼록체 스플래팅(3DCS)을 소개합니다. 부드러운 볼록체 모양은 가우시안보다 더 큰 유연성을 제공하여 적은 기본체를 사용하여 경계가 있는 3D 장면과 밀도가 높은 볼륨을 더 잘 표현할 수 있습니다. 우리의 효율적인 CUDA 기반 래스터라이저를 통해, 3DCS는 Mip-NeRF360, Tanks and Temples, Deep Blending과 같은 벤치마크에서 3DGS보다 우수한 성능을 달성합니다. 특히, 우리의 방법은 PSNR에서 최대 0.81, LPIPS에서 0.026의 향상을 보이면서 높은 렌더링 속도를 유지하고 필요한 기본체 수를 줄입니다. 우리의 결과는 3D 볼록체 스플래팅이 고품질 장면 재구성과 신규 뷰 합성을 위한 새로운 표준이 될 잠재력을 강조합니다. 프로젝트 페이지: convexsplatting.github.io.

English

Recent advances in radiance field reconstruction, such as 3D Gaussian Splatting (3DGS), have achieved high-quality novel view synthesis and fast rendering by representing scenes with compositions of Gaussian primitives. However, 3D Gaussians present several limitations for scene reconstruction. Accurately capturing hard edges is challenging without significantly increasing the number of Gaussians, creating a large memory footprint. Moreover, they struggle to represent flat surfaces, as they are diffused in space. Without hand-crafted regularizers, they tend to disperse irregularly around the actual surface. To circumvent these issues, we introduce a novel method, named 3D Convex Splatting (3DCS), which leverages 3D smooth convexes as primitives for modeling geometrically-meaningful radiance fields from multi-view images. Smooth convex shapes offer greater flexibility than Gaussians, allowing for a better representation of 3D scenes with hard edges and dense volumes using fewer primitives. Powered by our efficient CUDA-based rasterizer, 3DCS achieves superior performance over 3DGS on benchmarks such as Mip-NeRF360, Tanks and Temples, and Deep Blending. Specifically, our method attains an improvement of up to 0.81 in PSNR and 0.026 in LPIPS compared to 3DGS while maintaining high rendering speeds and reducing the number of required primitives. Our results highlight the potential of 3D Convex Splatting to become the new standard for high-quality scene reconstruction and novel view synthesis. Project page: convexsplatting.github.io.