Momentum-GS: Momento di Autodistillazione Gaussiano per la Ricostruzione di Scene di Alta Qualità e di Grandi Dimensioni

Momentum-GS: Momentum Gaussian Self-Distillation for High-Quality Large Scene Reconstruction

December 6, 2024

Autori: Jixuan Fan, Wanhua Li, Yifei Han, Yansong Tang

cs.AI

Abstract

Lo Splatting Gaussiano 3D ha dimostrato un notevole successo nella ricostruzione di scene su larga scala, ma persistono sfide a causa dell'elevato consumo di memoria durante l'addestramento e dell'overhead di archiviazione. Le rappresentazioni ibride che integrano caratteristiche implicite ed esplicite offrono un modo per mitigare tali limitazioni. Tuttavia, quando applicate nell'addestramento a blocchi parallelizzati, sorgono due problemi critici poiché la precisione della ricostruzione peggiora a causa della ridotta diversità dei dati quando si addestra ciascun blocco indipendentemente, e l'addestramento parallelo limita il numero di blocchi divisi al numero di GPU disponibili. Per affrontare tali questioni, proponiamo Momentum-GS, un nuovo approccio che sfrutta l'autodistillazione basata sul momento per promuovere coerenza e precisione tra i blocchi, mentre separa il numero di blocchi dal conteggio fisico delle GPU. Il nostro metodo mantiene un decodificatore Gaussiano di riferimento aggiornato con il momento, garantendo una guida stabile durante l'addestramento. Questo decodificatore fornisce a ciascun blocco una guida globale in modo di autodistillazione, promuovendo la coerenza spaziale nella ricostruzione. Per garantire ulteriormente la coerenza tra i blocchi, incorporiamo un pesaggio dei blocchi, regolando dinamicamente il peso di ciascun blocco in base alla sua precisione di ricostruzione. Estesi esperimenti su scene su larga scala mostrano che il nostro metodo supera costantemente le tecniche esistenti, ottenendo un miglioramento del 12,8% in LPIPS rispetto a CityGaussian con un numero molto inferiore di blocchi divisi e stabilendo un nuovo stato dell'arte. Pagina del progetto: https://jixuan-fan.github.io/Momentum-GS_Page/

English

3D Gaussian Splatting has demonstrated notable success in large-scale scene reconstruction, but challenges persist due to high training memory consumption and storage overhead. Hybrid representations that integrate implicit and explicit features offer a way to mitigate these limitations. However, when applied in parallelized block-wise training, two critical issues arise since reconstruction accuracy deteriorates due to reduced data diversity when training each block independently, and parallel training restricts the number of divided blocks to the available number of GPUs. To address these issues, we propose Momentum-GS, a novel approach that leverages momentum-based self-distillation to promote consistency and accuracy across the blocks while decoupling the number of blocks from the physical GPU count. Our method maintains a teacher Gaussian decoder updated with momentum, ensuring a stable reference during training. This teacher provides each block with global guidance in a self-distillation manner, promoting spatial consistency in reconstruction. To further ensure consistency across the blocks, we incorporate block weighting, dynamically adjusting each block's weight according to its reconstruction accuracy. Extensive experiments on large-scale scenes show that our method consistently outperforms existing techniques, achieving a 12.8% improvement in LPIPS over CityGaussian with much fewer divided blocks and establishing a new state of the art. Project page: https://jixuan-fan.github.io/Momentum-GS_Page/