플래시스플랫: 2D에서 3D로의 가우시안 스플래팅 세분화 최적으로 해결

FlashSplat: 2D to 3D Gaussian Splatting Segmentation Solved Optimally

September 12, 2024

저자: Qiuhong Shen, Xingyi Yang, Xinchao Wang

cs.AI

초록

본 연구는 2D 마스크로부터 3D 가우시안 스플래팅을 정확하게 세분화하는 과제에 대해 다룹니다. 기존 방법은 각 가우시안에 고유한 레이블을 할당하기 위해 반복적인 경사 하강법을 종종 사용하여 최적화 시간이 오래 걸리고 최적해에 도달하지 못하는 문제가 있습니다. 대신, 우리는 3D-GS 세분화를 위한 직관적이면서 전역적으로 최적화된 해법을 제안합니다. 우리 방법의 핵심 통찰력은 3D-GS 장면을 재구성하면, 2D 마스크의 렌더링이 각 가우시안의 레이블에 대해 선형 함수로 볼 수 있다는 것입니다. 따라서 최적 레이블 할당은 닫힌 형태의 선형 프로그래밍을 통해 해결될 수 있습니다. 이 해법은 단일 단계 최적화를 위해 스플래팅 프로세스의 알파 블렌딩 특성을 활용합니다. 우리의 목적 함수에 배경 편향을 통합함으로써, 우리의 방법은 잡음에 대해 3D 세분화에서 우수한 견고성을 보여줍니다. 놀랍게도, 우리의 최적화는 최고의 기존 방법보다 약 50배 빠른 30초 내에 완료됩니다. 다양한 장면을 세분화하는 우리의 방법의 효율성과 견고성, 그리고 물체 제거 및 인페인팅과 같은 하향 작업에서 우수한 성능을 실험을 통해 입증하였습니다. 데모 및 코드는 https://github.com/florinshen/FlashSplat에서 제공될 예정입니다.

English

This study addresses the challenge of accurately segmenting 3D Gaussian Splatting from 2D masks. Conventional methods often rely on iterative gradient descent to assign each Gaussian a unique label, leading to lengthy optimization and sub-optimal solutions. Instead, we propose a straightforward yet globally optimal solver for 3D-GS segmentation. The core insight of our method is that, with a reconstructed 3D-GS scene, the rendering of the 2D masks is essentially a linear function with respect to the labels of each Gaussian. As such, the optimal label assignment can be solved via linear programming in closed form. This solution capitalizes on the alpha blending characteristic of the splatting process for single step optimization. By incorporating the background bias in our objective function, our method shows superior robustness in 3D segmentation against noises. Remarkably, our optimization completes within 30 seconds, about 50times faster than the best existing methods. Extensive experiments demonstrate the efficiency and robustness of our method in segmenting various scenes, and its superior performance in downstream tasks such as object removal and inpainting. Demos and code will be available at https://github.com/florinshen/FlashSplat.