DepthLab: 部分から完全へ

DepthLab: From Partial to Complete

December 24, 2024

著者: Zhiheng Liu, Ka Leong Cheng, Qiuyu Wang, Shuzhe Wang, Hao Ouyang, Bin Tan, Kai Zhu, Yujun Shen, Qifeng Chen, Ping Luo

cs.AI

要旨

欠損値は、幅広いアプリケーションにわたる深度データにおいて依然として一般的な課題であり、これはデータ取得の不完全さや視点の変更など、さまざまな要因に起因しています。本研究では、画像拡散事前分布を活用した基盤深度修復モデルであるDepthLabによって、このギャップを埋める取り組みを行います。当該モデルは、2つの注目すべき強みを備えています：(1) 深度が不足している領域に対して強靭であり、連続した領域や孤立した点の信頼性の高い補完を提供し、(2) 欠損値の補完時に、既知の深度に応じたスケールの一貫性を忠実に保持します。これらの利点を活かし、当該手法は、3Dシーン修復、テキストから3Dシーン生成、DUST3Rによる疎視点再構成、およびLiDAR深度補完など、さまざまな下流タスクにおいて、現行の解決策を数値パフォーマンスと視覚的品質の両面で上回る価値を証明しています。ソースコード付きのプロジェクトページは、https://johanan528.github.io/depthlab_web/ でご覧いただけます。

English

Missing values remain a common challenge for depth data across its wide range of applications, stemming from various causes like incomplete data acquisition and perspective alteration. This work bridges this gap with DepthLab, a foundation depth inpainting model powered by image diffusion priors. Our model features two notable strengths: (1) it demonstrates resilience to depth-deficient regions, providing reliable completion for both continuous areas and isolated points, and (2) it faithfully preserves scale consistency with the conditioned known depth when filling in missing values. Drawing on these advantages, our approach proves its worth in various downstream tasks, including 3D scene inpainting, text-to-3D scene generation, sparse-view reconstruction with DUST3R, and LiDAR depth completion, exceeding current solutions in both numerical performance and visual quality. Our project page with source code is available at https://johanan528.github.io/depthlab_web/.