NeuralGS: Colmare il Divario tra Campi Neurali e 3D Gaussian Splatting per Rappresentazioni 3D Compatte

NeuralGS: Bridging Neural Fields and 3D Gaussian Splatting for Compact 3D Representations

March 29, 2025

Autori: Zhenyu Tang, Chaoran Feng, Xinhua Cheng, Wangbo Yu, Junwu Zhang, Yuan Liu, Xiaoxiao Long, Wenping Wang, Li Yuan

cs.AI

Abstract

Il 3D Gaussian Splatting (3DGS) dimostra una qualità e una velocità di rendering superiori, ma richiede milioni di Gaussiane 3D con costi significativi di archiviazione e trasmissione. I recenti metodi di compressione per 3DGS si concentrano principalmente sulla compressione di Scaffold-GS, ottenendo prestazioni impressionanti ma con una struttura voxel aggiuntiva e una strategia complessa di codifica e quantizzazione. In questo articolo, miriamo a sviluppare un metodo semplice ma efficace, chiamato NeuralGS, che esplora un approccio alternativo per comprimere il 3DGS originale in una rappresentazione compatta senza la struttura voxel e le complesse strategie di quantizzazione. La nostra osservazione è che i campi neurali come NeRF possono rappresentare scene 3D complesse utilizzando reti neurali Multi-Layer Perceptron (MLP) con solo pochi megabyte. Pertanto, NeuralGS adotta efficacemente la rappresentazione del campo neurale per codificare gli attributi delle Gaussiane 3D con MLP, richiedendo solo una piccola dimensione di archiviazione anche per scene di grandi dimensioni. Per raggiungere questo obiettivo, adottiamo una strategia di clustering e adattiamo le Gaussiane con diversi piccoli MLP per ogni cluster, basandoci sui punteggi di importanza delle Gaussiane come pesi di adattamento. Sperimentiamo su più dataset, ottenendo una riduzione media della dimensione del modello di 45 volte senza compromettere la qualità visiva. Le prestazioni di compressione del nostro metodo sul 3DGS originale sono comparabili ai metodi di compressione dedicati basati su Scaffold-GS, dimostrando il grande potenziale della compressione diretta del 3DGS originale con campi neurali.

English

3D Gaussian Splatting (3DGS) demonstrates superior quality and rendering speed, but with millions of 3D Gaussians and significant storage and transmission costs. Recent 3DGS compression methods mainly concentrate on compressing Scaffold-GS, achieving impressive performance but with an additional voxel structure and a complex encoding and quantization strategy. In this paper, we aim to develop a simple yet effective method called NeuralGS that explores in another way to compress the original 3DGS into a compact representation without the voxel structure and complex quantization strategies. Our observation is that neural fields like NeRF can represent complex 3D scenes with Multi-Layer Perceptron (MLP) neural networks using only a few megabytes. Thus, NeuralGS effectively adopts the neural field representation to encode the attributes of 3D Gaussians with MLPs, only requiring a small storage size even for a large-scale scene. To achieve this, we adopt a clustering strategy and fit the Gaussians with different tiny MLPs for each cluster, based on importance scores of Gaussians as fitting weights. We experiment on multiple datasets, achieving a 45-times average model size reduction without harming the visual quality. The compression performance of our method on original 3DGS is comparable to the dedicated Scaffold-GS-based compression methods, which demonstrate the huge potential of directly compressing original 3DGS with neural fields.