DepthLab: De Parcial a Completo

DepthLab: From Partial to Complete

December 24, 2024

Autores: Zhiheng Liu, Ka Leong Cheng, Qiuyu Wang, Shuzhe Wang, Hao Ouyang, Bin Tan, Kai Zhu, Yujun Shen, Qifeng Chen, Ping Luo

cs.AI

Resumo

Valores ausentes continuam sendo um desafio comum para dados de profundidade em uma ampla gama de aplicações, decorrentes de várias causas como aquisição de dados incompleta e alteração de perspectiva. Este trabalho preenche essa lacuna com o DepthLab, um modelo de preenchimento de profundidade baseado em difusão de imagens. Nosso modelo apresenta duas forças notáveis: (1) ele demonstra resiliência em regiões com falta de profundidade, fornecendo conclusão confiável tanto para áreas contínuas quanto para pontos isolados, e (2) preserva fielmente a consistência de escala com a profundidade conhecida condicionada ao preencher os valores ausentes. Com base nessas vantagens, nossa abordagem comprova seu valor em várias tarefas subsequentes, incluindo preenchimento de cena 3D, geração de cena 3D a partir de texto, reconstrução de visualização esparsa com DUST3R e preenchimento de profundidade LiDAR, superando as soluções atuais tanto em desempenho numérico quanto em qualidade visual. Nossa página do projeto com o código-fonte está disponível em https://johanan528.github.io/depthlab_web/.

English

Missing values remain a common challenge for depth data across its wide range of applications, stemming from various causes like incomplete data acquisition and perspective alteration. This work bridges this gap with DepthLab, a foundation depth inpainting model powered by image diffusion priors. Our model features two notable strengths: (1) it demonstrates resilience to depth-deficient regions, providing reliable completion for both continuous areas and isolated points, and (2) it faithfully preserves scale consistency with the conditioned known depth when filling in missing values. Drawing on these advantages, our approach proves its worth in various downstream tasks, including 3D scene inpainting, text-to-3D scene generation, sparse-view reconstruction with DUST3R, and LiDAR depth completion, exceeding current solutions in both numerical performance and visual quality. Our project page with source code is available at https://johanan528.github.io/depthlab_web/.