알파테이블릿: 단안 비디오로부터의 3D 평면 재구성을 위한 일반적인 평면 표현

AlphaTablets: A Generic Plane Representation for 3D Planar Reconstruction from Monocular Videos

November 29, 2024

저자: Yuze He, Wang Zhao, Shaohui Liu, Yubin Hu, Yushi Bai, Yu-Hui Wen, Yong-Jin Liu

cs.AI

초록

우리는 3D 평면의 혁신적이고 일반적인 표현인 AlphaTablets을 소개합니다. AlphaTablets은 연속적인 3D 표면과 정확한 경계를 나타냅니다. 알파 채널을 가진 직사각형으로 3D 평면을 표현함으로써, AlphaTablets은 현재의 2D 및 3D 평면 표현의 장점을 결합하여 3D 평면의 정확하고 일관된 유연한 모델링을 가능하게 합니다. 우리는 AlphaTablets 위에 미분 가능한 래스터화를 유도하여 3D 평면을 이미지로 효율적으로 렌더링하고, 단안 비디오로부터 3D 평면 재구성을 위한 혁신적인 하향식 파이프라인을 제안합니다. 2D 초픽셀과 사전 훈련된 모델로부터 기하학적 단서를 활용하여, 우리는 3D 평면을 AlphaTablets로 초기화하고 미분 렌더링을 통해 최적화합니다. 효과적인 병합 체계가 도입되어 AlphaTablets의 성장과 정제를 용이하게 합니다. 반복적 최적화와 병합을 통해 우리는 단단한 표면과 명확한 경계를 갖춘 완전하고 정확한 3D 평면을 재구성합니다. ScanNet 데이터셋에서의 광범위한 실험은 3D 평면 재구성에서 최첨단 성능을 입증하며, 다양한 응용 프로그램에 대한 일반적인 3D 평면 표현으로서의 AlphaTablets의 큰 잠재력을 강조합니다. 프로젝트 페이지는 다음에서 확인할 수 있습니다: https://hyzcluster.github.io/alphatablets

English

We introduce AlphaTablets, a novel and generic representation of 3D planes that features continuous 3D surface and precise boundary delineation. By representing 3D planes as rectangles with alpha channels, AlphaTablets combine the advantages of current 2D and 3D plane representations, enabling accurate, consistent and flexible modeling of 3D planes. We derive differentiable rasterization on top of AlphaTablets to efficiently render 3D planes into images, and propose a novel bottom-up pipeline for 3D planar reconstruction from monocular videos. Starting with 2D superpixels and geometric cues from pre-trained models, we initialize 3D planes as AlphaTablets and optimize them via differentiable rendering. An effective merging scheme is introduced to facilitate the growth and refinement of AlphaTablets. Through iterative optimization and merging, we reconstruct complete and accurate 3D planes with solid surfaces and clear boundaries. Extensive experiments on the ScanNet dataset demonstrate state-of-the-art performance in 3D planar reconstruction, underscoring the great potential of AlphaTablets as a generic 3D plane representation for various applications. Project page is available at: https://hyzcluster.github.io/alphatablets