모멘텀-가우시안 셀프 디스틸레이션: 고품질 대규모 장면 재구성을 위한 모멘텀 가우시안 셀프 디스틸레이션

Momentum-GS: Momentum Gaussian Self-Distillation for High-Quality Large Scene Reconstruction

December 6, 2024

저자: Jixuan Fan, Wanhua Li, Yifei Han, Yansong Tang

cs.AI

초록

3D 가우시안 스플래팅은 대규모 장면 재구성에서 주목할만한 성과를 보여주었지만, 고 훈련 메모리 소비와 저장 과부하로 인한 도전이 지속되고 있습니다. 암시적 및 명시적 특징을 통합하는 하이브리드 표현은 이러한 제약을 완화하는 방법을 제공합니다. 그러나 병렬화된 블록별 훈련에 적용할 때, 각 블록을 독립적으로 훈련할 때 데이터 다양성이 감소하여 재구성 정확도가 저하되는 두 가지 중요한 문제가 발생하며, 병렬 훈련은 분할된 블록 수를 사용 가능한 GPU 수로 제한합니다. 이러한 문제를 해결하기 위해 우리는 모멘텀 기반의 자가 증류를 활용하여 블록 간 일관성과 정확도를 촉진하면서 블록 수를 물리적 GPU 수에서 분리하는 혁신적인 접근 방식인 Momentum-GS를 제안합니다. 우리의 방법은 훈련 중 안정적인 참조를 보장하기 위해 모멘텀으로 업데이트된 교사 가우시안 디코더를 유지합니다. 이 교사는 각 블록에 전역적인 가이드를 제공하여 재구성에서 공간적 일관성을 촉진합니다. 블록 간 일관성을 보다 확실히 하기 위해 재구성 정확도에 따라 각 블록의 가중치를 동적으로 조정하는 블록 가중치를 통합합니다. 대규모 장면에서의 광범위한 실험 결과, 우리의 방법이 기존 기술을 일관되게 능가하며, CityGaussian 대비 LPIPS에서 12.8%의 개선을 달성하면서 훨씬 적은 분할된 블록으로 새로운 최고 성능을 수립합니다. 프로젝트 페이지: https://jixuan-fan.github.io/Momentum-GS_Page/

English

3D Gaussian Splatting has demonstrated notable success in large-scale scene reconstruction, but challenges persist due to high training memory consumption and storage overhead. Hybrid representations that integrate implicit and explicit features offer a way to mitigate these limitations. However, when applied in parallelized block-wise training, two critical issues arise since reconstruction accuracy deteriorates due to reduced data diversity when training each block independently, and parallel training restricts the number of divided blocks to the available number of GPUs. To address these issues, we propose Momentum-GS, a novel approach that leverages momentum-based self-distillation to promote consistency and accuracy across the blocks while decoupling the number of blocks from the physical GPU count. Our method maintains a teacher Gaussian decoder updated with momentum, ensuring a stable reference during training. This teacher provides each block with global guidance in a self-distillation manner, promoting spatial consistency in reconstruction. To further ensure consistency across the blocks, we incorporate block weighting, dynamically adjusting each block's weight according to its reconstruction accuracy. Extensive experiments on large-scale scenes show that our method consistently outperforms existing techniques, achieving a 12.8% improvement in LPIPS over CityGaussian with much fewer divided blocks and establishing a new state of the art. Project page: https://jixuan-fan.github.io/Momentum-GS_Page/