Vista3D: 단일 이미지의 3D 다크 사이드 해독

Vista3D: Unravel the 3D Darkside of a Single Image

September 18, 2024

저자: Qiuhong Shen, Xingyi Yang, Michael Bi Mi, Xinchao Wang

cs.AI

초록

우리는 오랜 세월에 걸친 탐험을 시작합니다: 보이는 부분의 단편만으로 객체의 숨겨진 차원을 밝히는 것. 이를 해결하기 위해 우리는 Vista3D를 제시합니다. 이는 5분 만에 신속하고 일관된 3D 생성을 실현하는 프레임워크입니다. Vista3D의 핵심에는 두 단계 접근 방식이 있습니다: 굵은 단계와 세밀한 단계. 굵은 단계에서는 단일 이미지로부터 가우시안 스플래팅을 사용하여 초기 기하학을 신속하게 생성합니다. 세밀한 단계에서는 학습된 가우시안 스플래팅으로부터 직접 부호화된 거리 함수(SDF)를 추출하고, 미분 가능한 등거리 표현을 최적화합니다. 또한, 보이는 부분과 가려진 부분을 모두 포착하기 위해 두 독립적인 암시적 함수로 구성된 분리된 표현을 사용하여 생성의 품질을 높입니다. 게다가, 2D 확산 사전의 그래디언트를 3D 인식 확산 사전과 각도 확산 사전 합성을 통해 조화롭게 조절합니다. 철저한 평가를 통해 Vista3D가 생성된 3D 객체의 일관성과 다양성 사이의 균형을 효과적으로 유지함을 입증합니다. 데모 및 코드는 https://github.com/florinshen/Vista3D에서 제공될 예정입니다.

English

We embark on the age-old quest: unveiling the hidden dimensions of objects from mere glimpses of their visible parts. To address this, we present Vista3D, a framework that realizes swift and consistent 3D generation within a mere 5 minutes. At the heart of Vista3D lies a two-phase approach: the coarse phase and the fine phase. In the coarse phase, we rapidly generate initial geometry with Gaussian Splatting from a single image. In the fine phase, we extract a Signed Distance Function (SDF) directly from learned Gaussian Splatting, optimizing it with a differentiable isosurface representation. Furthermore, it elevates the quality of generation by using a disentangled representation with two independent implicit functions to capture both visible and obscured aspects of objects. Additionally, it harmonizes gradients from 2D diffusion prior with 3D-aware diffusion priors by angular diffusion prior composition. Through extensive evaluation, we demonstrate that Vista3D effectively sustains a balance between the consistency and diversity of the generated 3D objects. Demos and code will be available at https://github.com/florinshen/Vista3D.