SPAR3D: Reconstrução Estável de Objetos 3D a partir de Imagens Únicas Conscientes de Pontos

SPAR3D: Stable Point-Aware Reconstruction of 3D Objects from Single Images

January 8, 2025

Autores: Zixuan Huang, Mark Boss, Aaryaman Vasishta, James M. Rehg, Varun Jampani

cs.AI

Resumo

Estudamos o problema da reconstrução tridimensional de objetos a partir de uma única imagem. Trabalhos recentes têm seguido duas direções: modelagem baseada em regressão e modelagem generativa. Métodos de regressão inferem eficientemente superfícies visíveis, mas enfrentam dificuldades com regiões ocultas. Métodos generativos lidam melhor com regiões incertas ao modelar distribuições, porém são computacionalmente caros e a geração frequentemente não está alinhada com as superfícies visíveis. Neste artigo, apresentamos o SPAR3D, uma abordagem inovadora em duas etapas que visa combinar o melhor de ambas as direções. A primeira etapa do SPAR3D gera nuvens de pontos 3D esparsas usando um modelo leve de difusão de pontos, que possui uma rápida velocidade de amostragem. A segunda etapa utiliza tanto a nuvem de pontos amostrada quanto a imagem de entrada para criar malhas altamente detalhadas. Nosso design em duas etapas permite a modelagem probabilística da tarefa tridimensional de uma única imagem, mantendo alta eficiência computacional e grande fidelidade de saída. Utilizar nuvens de pontos como representação intermediária também permite edições interativas do usuário. Avaliado em conjuntos de dados diversos, o SPAR3D demonstra desempenho superior em relação a métodos anteriores de ponta, com uma velocidade de inferência de 0,7 segundos. Página do projeto com código e modelo: https://spar3d.github.io

English

We study the problem of single-image 3D object reconstruction. Recent works have diverged into two directions: regression-based modeling and generative modeling. Regression methods efficiently infer visible surfaces, but struggle with occluded regions. Generative methods handle uncertain regions better by modeling distributions, but are computationally expensive and the generation is often misaligned with visible surfaces. In this paper, we present SPAR3D, a novel two-stage approach aiming to take the best of both directions. The first stage of SPAR3D generates sparse 3D point clouds using a lightweight point diffusion model, which has a fast sampling speed. The second stage uses both the sampled point cloud and the input image to create highly detailed meshes. Our two-stage design enables probabilistic modeling of the ill-posed single-image 3D task while maintaining high computational efficiency and great output fidelity. Using point clouds as an intermediate representation further allows for interactive user edits. Evaluated on diverse datasets, SPAR3D demonstrates superior performance over previous state-of-the-art methods, at an inference speed of 0.7 seconds. Project page with code and model: https://spar3d.github.io