GSTAR: 가우시안 표면 추적 및 재구성

GSTAR: Gaussian Surface Tracking and Reconstruction

January 17, 2025

저자: Chengwei Zheng, Lixin Xue, Juan Zarate, Jie Song

cs.AI

초록

3D 가우시안 스플래팅 기술은 정적 장면의 효율적인 사실적 렌더링을 가능하게 했습니다. 최근 연구들은 이러한 방법을 확장하여 표면 재구성과 추적을 지원하였습니다. 그러나 3D 가우시안을 사용하여 동적 표면을 추적하는 것은 표면이 나타나거나 사라지거나 분할되는 복잡한 위상 변화로 인해 여전히 어려움이 남아 있습니다. 이러한 도전에 대처하기 위해 우리는 일반적인 동적 장면에 대해 사실적 렌더링, 정확한 표면 재구성 및 신뢰할 수 있는 3D 추적을 달성하는 새로운 방법인 GSTAR을 제안합니다. 입력으로 다중 뷰 캡처를 제공받으면, GSTAR은 동적 객체를 나타내기 위해 가우시안을 메쉬 면에 바인딩합니다. 일관된 위상을 가진 표면의 경우, GSTAR은 메쉬 위상을 유지하고 가우시안을 사용하여 메쉬를 추적합니다. 위상이 변경되는 지역에서는, GSTAR은 메쉬에서 가우시안을 적응적으로 바인딩 해제하여 정확한 등록을 가능하게 하고 이러한 최적화된 가우시안을 기반으로 새로운 표면을 생성합니다. 게다가, 우리는 프레임 간 추적을 위한 견고한 초기화를 제공하는 표면 기반의 장면 흐름 방법을 소개합니다. 실험 결과는 우리의 방법이 효과적으로 동적 표면을 추적하고 재구성하여 다양한 응용 프로그램을 가능하게 한다는 것을 보여줍니다. 코드 릴리스가 포함된 프로젝트 페이지는 https://eth-ait.github.io/GSTAR/에서 확인할 수 있습니다.

English

3D Gaussian Splatting techniques have enabled efficient photo-realistic rendering of static scenes. Recent works have extended these approaches to support surface reconstruction and tracking. However, tracking dynamic surfaces with 3D Gaussians remains challenging due to complex topology changes, such as surfaces appearing, disappearing, or splitting. To address these challenges, we propose GSTAR, a novel method that achieves photo-realistic rendering, accurate surface reconstruction, and reliable 3D tracking for general dynamic scenes with changing topology. Given multi-view captures as input, GSTAR binds Gaussians to mesh faces to represent dynamic objects. For surfaces with consistent topology, GSTAR maintains the mesh topology and tracks the meshes using Gaussians. In regions where topology changes, GSTAR adaptively unbinds Gaussians from the mesh, enabling accurate registration and the generation of new surfaces based on these optimized Gaussians. Additionally, we introduce a surface-based scene flow method that provides robust initialization for tracking between frames. Experiments demonstrate that our method effectively tracks and reconstructs dynamic surfaces, enabling a range of applications. Our project page with the code release is available at https://eth-ait.github.io/GSTAR/.