DepthLab: Da Parziale a Completo

DepthLab: From Partial to Complete

December 24, 2024

Autori: Zhiheng Liu, Ka Leong Cheng, Qiuyu Wang, Shuzhe Wang, Hao Ouyang, Bin Tan, Kai Zhu, Yujun Shen, Qifeng Chen, Ping Luo

cs.AI

Abstract

I valori mancanti rimangono una sfida comune per i dati di profondità in una vasta gamma di applicazioni, derivanti da varie cause come l'acquisizione incompleta dei dati e l'alterazione della prospettiva. Questo lavoro colma questa lacuna con DepthLab, un modello di completamento della profondità di base alimentato da priorità di diffusione delle immagini. Il nostro modello presenta due punti di forza notevoli: (1) dimostra resilienza alle regioni con carenza di profondità, fornendo un completamento affidabile sia per aree continue che per punti isolati, e (2) conserva fedelmente la coerenza di scala con la profondità nota condizionata durante il riempimento dei valori mancanti. Sfruttando questi vantaggi, il nostro approccio dimostra il suo valore in vari compiti successivi, inclusi il completamento di scene 3D, la generazione di scene 3D da testo, la ricostruzione a vista sparata con DUST3R e il completamento della profondità LiDAR, superando le soluzioni attuali sia in termini di prestazioni numeriche che di qualità visiva. La pagina del nostro progetto con il codice sorgente è disponibile su https://johanan528.github.io/depthlab_web/.

English

Missing values remain a common challenge for depth data across its wide range of applications, stemming from various causes like incomplete data acquisition and perspective alteration. This work bridges this gap with DepthLab, a foundation depth inpainting model powered by image diffusion priors. Our model features two notable strengths: (1) it demonstrates resilience to depth-deficient regions, providing reliable completion for both continuous areas and isolated points, and (2) it faithfully preserves scale consistency with the conditioned known depth when filling in missing values. Drawing on these advantages, our approach proves its worth in various downstream tasks, including 3D scene inpainting, text-to-3D scene generation, sparse-view reconstruction with DUST3R, and LiDAR depth completion, exceeding current solutions in both numerical performance and visual quality. Our project page with source code is available at https://johanan528.github.io/depthlab_web/.