Marigold-DC: ガイド付き拡散を用いたゼロショット単眼深度補完

要旨

深度補完は、疎な深度測定を密な深度マップにアップグレードするために、従来の画像によってガイドされます。この高度に不良条件なタスクのための既存の手法は、厳密に制約された設定で動作し、トレーニングドメイン外の画像に適用される場合や、利用可能な深度測定が疎かつ不規則に分布している場合、または密度が異なる場合に苦労する傾向があります。最近の単眼深度推定の進歩に触発され、深度補完を、疎な測定によってガイドされた画像条件付きの深度マップ生成として再構築します。当社の手法、Marigold-DCは、単眼深度推定のための事前学習された潜在拡散モデルに基づき、深度観測をテスト時のガイダンスとして注入し、デノイジング拡散の反復推論と並行して実行される最適化スキームによってガイドされます。この手法は、さまざまな環境にわたって優れたゼロショット汎化を示し、極めて疎なガイダンスにさえ効果的に対処します。私たちの結果は、現代の単眼深度事前分布が深度補完を非常に強固にすることを示唆しています：密な画像ピクセルから疎な深度によってガイドされた密な深度の回復をタスクとして見る方が良いかもしれません。プロジェクトのウェブサイト：https://MarigoldDepthCompletion.github.io/

English

Depth completion upgrades sparse depth measurements into dense depth maps guided by a conventional image. Existing methods for this highly ill-posed task operate in tightly constrained settings and tend to struggle when applied to images outside the training domain or when the available depth measurements are sparse, irregularly distributed, or of varying density. Inspired by recent advances in monocular depth estimation, we reframe depth completion as an image-conditional depth map generation guided by sparse measurements. Our method, Marigold-DC, builds on a pretrained latent diffusion model for monocular depth estimation and injects the depth observations as test-time guidance via an optimization scheme that runs in tandem with the iterative inference of denoising diffusion. The method exhibits excellent zero-shot generalization across a diverse range of environments and handles even extremely sparse guidance effectively. Our results suggest that contemporary monocular depth priors greatly robustify depth completion: it may be better to view the task as recovering dense depth from (dense) image pixels, guided by sparse depth; rather than as inpainting (sparse) depth, guided by an image. Project website: https://MarigoldDepthCompletion.github.io/

Marigold-DC: ガイド付き拡散を用いたゼロショット単眼深度補完

Marigold-DC: Zero-Shot Monocular Depth Completion with Guided Diffusion

要旨

Summary

Support

Support