깊이 연구소: 부분에서 완전으로

초록

결측값은 다양한 원인으로 인해 발생하는 깊이 데이터의 넓은 응용 분야에서 여전히 흔한 도전 과제입니다. 이는 데이터 획득의 미완성 및 관점 변경과 같은 이유에서 기인합니다. 본 연구는 이미지 확산 사전을 기반으로 한 근원적인 깊이 보충 모델인 DepthLab을 통해 이 간극을 메웁니다. 우리의 모델은 두 가지 주목할 만한 강점을 갖고 있습니다: (1) 깊이 부족 영역에 대한 저항력을 보여주며 연속적인 영역 및 고립된 점에 대해 신뢰할 수 있는 완성을 제공하고, (2) 누락된 값을 채울 때 조건부로 알려진 깊이와 규모 일관성을 충실히 보존합니다. 이러한 장점을 바탕으로 우리의 접근 방식은 3D 장면 보충, 텍스트에서 3D 장면 생성, DUST3R을 활용한 희소한 뷰 재구성 및 LiDAR 깊이 완성과 같은 다양한 하향 작업에서 그 가치를 입증하며 현재 솔루션을 숫자적 성능과 시각적 품질 측면에서 능가합니다. 소스 코드가 포함된 프로젝트 페이지는 https://johanan528.github.io/depthlab_web/에서 확인하실 수 있습니다.

English

Missing values remain a common challenge for depth data across its wide range of applications, stemming from various causes like incomplete data acquisition and perspective alteration. This work bridges this gap with DepthLab, a foundation depth inpainting model powered by image diffusion priors. Our model features two notable strengths: (1) it demonstrates resilience to depth-deficient regions, providing reliable completion for both continuous areas and isolated points, and (2) it faithfully preserves scale consistency with the conditioned known depth when filling in missing values. Drawing on these advantages, our approach proves its worth in various downstream tasks, including 3D scene inpainting, text-to-3D scene generation, sparse-view reconstruction with DUST3R, and LiDAR depth completion, exceeding current solutions in both numerical performance and visual quality. Our project page with source code is available at https://johanan528.github.io/depthlab_web/.

깊이 연구소: 부분에서 완전으로

DepthLab: From Partial to Complete

초록

Support