SPAR3D: Ricostruzione Stabile Consapevole dei Punti degli Oggetti 3D da Singole Immagini

SPAR3D: Stable Point-Aware Reconstruction of 3D Objects from Single Images

January 8, 2025

Autori: Zixuan Huang, Mark Boss, Aaryaman Vasishta, James M. Rehg, Varun Jampani

cs.AI

Abstract

Studiamo il problema della ricostruzione tridimensionale di oggetti da singola immagine. Lavori recenti si sono divisi in due direzioni: modellazione basata su regressione e modellazione generativa. I metodi di regressione inferiscono efficientemente le superfici visibili, ma faticano con le regioni occultate. I metodi generativi gestiscono meglio le regioni incerte modellando distribuzioni, ma sono computazionalmente costosi e la generazione è spesso non allineata con le superfici visibili. In questo articolo, presentiamo SPAR3D, un nuovo approccio a due fasi che mira a cogliere il meglio di entrambe le direzioni. La prima fase di SPAR3D genera nuvole di punti 3D sparse utilizzando un modello di diffusione di punti leggero, che ha una rapida velocità di campionamento. La seconda fase utilizza sia la nuvola di punti campionata che l'immagine di input per creare mesh altamente dettagliate. Il nostro design a due fasi consente la modellazione probabilistica del compito 3D da singola immagine mal definito, mantenendo un'alta efficienza computazionale e una grande fedeltà dell'output. Utilizzare le nuvole di punti come rappresentazione intermedia consente inoltre modifiche interattive da parte dell'utente. Valutato su dataset diversi, SPAR3D dimostra prestazioni superiori rispetto ai metodi precedenti all'avanguardia, con una velocità di inferenza di 0,7 secondi. Pagina del progetto con codice e modello: https://spar3d.github.io

English

We study the problem of single-image 3D object reconstruction. Recent works have diverged into two directions: regression-based modeling and generative modeling. Regression methods efficiently infer visible surfaces, but struggle with occluded regions. Generative methods handle uncertain regions better by modeling distributions, but are computationally expensive and the generation is often misaligned with visible surfaces. In this paper, we present SPAR3D, a novel two-stage approach aiming to take the best of both directions. The first stage of SPAR3D generates sparse 3D point clouds using a lightweight point diffusion model, which has a fast sampling speed. The second stage uses both the sampled point cloud and the input image to create highly detailed meshes. Our two-stage design enables probabilistic modeling of the ill-posed single-image 3D task while maintaining high computational efficiency and great output fidelity. Using point clouds as an intermediate representation further allows for interactive user edits. Evaluated on diverse datasets, SPAR3D demonstrates superior performance over previous state-of-the-art methods, at an inference speed of 0.7 seconds. Project page with code and model: https://spar3d.github.io