SPAR3D: 単一画像からの3Dオブジェクトの安定したポイント認識復元

SPAR3D: Stable Point-Aware Reconstruction of 3D Objects from Single Images

January 8, 2025

著者: Zixuan Huang, Mark Boss, Aaryaman Vasishta, James M. Rehg, Varun Jampani

cs.AI

要旨

単一画像の3Dオブジェクト再構築の問題を研究しています。最近の研究は、回帰ベースのモデリングと生成モデリングの2つの方向に分かれています。回帰法は効率的に見える表面を推論しますが、遮蔽された領域に苦労します。生成法は分布をモデリングすることで不確実な領域をうまく処理しますが、計算コストが高く、生成物がしばしば見える表面と整合しないことがあります。本論文では、両方向の利点を活かすことを目指した新しい2段階アプローチであるSPAR3Dを提案します。SPAR3Dの第1段階は、軽量なポイント拡散モデルを使用して疎な3Dポイントクラウドを生成し、高速なサンプリング速度を持ちます。第2段階では、サンプリングされたポイントクラウドと入力画像の両方を使用して、非常に詳細なメッシュを作成します。2段階設計により、単一画像の3Dタスクの不適切な確率モデリングを可能にし、高い計算効率と優れた出力忠実度を維持します。中間表現としてポイントクラウドを使用することで、インタラクティブなユーザー編集も可能になります。さまざまなデータセットで評価した結果、SPAR3Dは従来の最先端手法よりも優れた性能を示し、推論速度は0.7秒です。プロジェクトページ（コードとモデル）：https://spar3d.github.io

English

We study the problem of single-image 3D object reconstruction. Recent works have diverged into two directions: regression-based modeling and generative modeling. Regression methods efficiently infer visible surfaces, but struggle with occluded regions. Generative methods handle uncertain regions better by modeling distributions, but are computationally expensive and the generation is often misaligned with visible surfaces. In this paper, we present SPAR3D, a novel two-stage approach aiming to take the best of both directions. The first stage of SPAR3D generates sparse 3D point clouds using a lightweight point diffusion model, which has a fast sampling speed. The second stage uses both the sampled point cloud and the input image to create highly detailed meshes. Our two-stage design enables probabilistic modeling of the ill-posed single-image 3D task while maintaining high computational efficiency and great output fidelity. Using point clouds as an intermediate representation further allows for interactive user edits. Evaluated on diverse datasets, SPAR3D demonstrates superior performance over previous state-of-the-art methods, at an inference speed of 0.7 seconds. Project page with code and model: https://spar3d.github.io