SPAR3D: 단일 이미지로부터 3D 객체의 안정된 점 인식 재구성

SPAR3D: Stable Point-Aware Reconstruction of 3D Objects from Single Images

January 8, 2025

저자: Zixuan Huang, Mark Boss, Aaryaman Vasishta, James M. Rehg, Varun Jampani

cs.AI

초록

우리는 단일 이미지 3D 객체 재구성 문제를 연구합니다. 최근 연구는 회귀 기반 모델링과 생성 모델링 두 가지 방향으로 분화되었습니다. 회귀 방법은 효율적으로 가시적 표면을 추론하지만 가려진 영역에서 어려움을 겪습니다. 생성 방법은 분포를 모델링하여 불확실한 영역을 더 잘 처리하지만 계산 비용이 높고 생성물이 종종 가시적 표면과 일치하지 않습니다. 본 논문에서는 두 방향의 장점을 결합하고자 하는 새로운 이차 접근 방식인 SPAR3D를 제안합니다. SPAR3D의 첫 번째 단계는 빠른 샘플링 속도를 가진 가벼운 점 확산 모델을 사용하여 희소한 3D 포인트 클라우드를 생성합니다. 두 번째 단계는 샘플링된 포인트 클라우드와 입력 이미지를 모두 사용하여 매우 상세한 메쉬를 생성합니다. 우리의 이차 설계는 불확실한 단일 이미지 3D 작업의 확률적 모델링을 가능하게 하면서 높은 계산 효율성과 훌륭한 출력 충실도를 유지합니다. 중간 표현으로서의 포인트 클라우드 사용은 상호 작용적 사용자 편집을 가능하게 합니다. 다양한 데이터셋에서 평가한 결과, SPAR3D는 이전 최첨단 방법보다 우수한 성능을 보여주며 추론 속도는 0.7초입니다. 코드와 모델이 포함된 프로젝트 페이지: https://spar3d.github.io

English

We study the problem of single-image 3D object reconstruction. Recent works have diverged into two directions: regression-based modeling and generative modeling. Regression methods efficiently infer visible surfaces, but struggle with occluded regions. Generative methods handle uncertain regions better by modeling distributions, but are computationally expensive and the generation is often misaligned with visible surfaces. In this paper, we present SPAR3D, a novel two-stage approach aiming to take the best of both directions. The first stage of SPAR3D generates sparse 3D point clouds using a lightweight point diffusion model, which has a fast sampling speed. The second stage uses both the sampled point cloud and the input image to create highly detailed meshes. Our two-stage design enables probabilistic modeling of the ill-posed single-image 3D task while maintaining high computational efficiency and great output fidelity. Using point clouds as an intermediate representation further allows for interactive user edits. Evaluated on diverse datasets, SPAR3D demonstrates superior performance over previous state-of-the-art methods, at an inference speed of 0.7 seconds. Project page with code and model: https://spar3d.github.io