매리골드-DC: 안내 확산을 이용한 제로샷 단안 심도 완성
Marigold-DC: Zero-Shot Monocular Depth Completion with Guided Diffusion
December 18, 2024
저자: Massimiliano Viola, Kevin Qu, Nando Metzger, Bingxin Ke, Alexander Becker, Konrad Schindler, Anton Obukhov
cs.AI
초록
깊이 완성은 희소한 깊이 측정값을 밀도 있는 깊이 맵으로 업그레이드하는 작업을 의미하며, 기존의 방법들은 이 극도로 불연속한 작업에 대해 엄격한 설정에서 작동하며, 훈련 도메인 외의 이미지에 적용하거나 사용 가능한 깊이 측정값이 희소하거나 불규칙하게 분포되거나 밀도가 다양한 경우에 어려움을 겪는 경향이 있습니다. 최근의 단안 깊이 추정 기술의 발전에서 영감을 받아 깊이 완성을 희소한 측정값에 의해 안내되는 이미지 조건부 깊이 맵 생성으로 재구성합니다. 저희의 방법인 Marigold-DC는 단안 깊이 추정을 위한 사전 훈련된 잠재 확산 모델을 기반으로 하며, 깊이 관측값을 테스트 시간 안내로 주입하여 노이즈 제거 확산의 반복 추론과 함께 실행되는 최적화 체계를 통해 작동합니다. 이 방법은 다양한 환경에서 우수한 제로샷 일반화를 보여주며, 극도로 희소한 안내조차도 효과적으로 처리합니다. 저희의 결과는 현대적인 단안 깊이 사전이 깊이 완성을 매우 견고하게 만들어주는 것을 시사합니다: (밀도 있는) 이미지 픽셀로부터 (밀도 있는) 깊이를 복구하는 작업을 희소한 깊이에 의해 안내받는 것으로 보는 것이 더 나을 수 있습니다. 프로젝트 웹사이트: https://MarigoldDepthCompletion.github.io/
English
Depth completion upgrades sparse depth measurements into dense depth maps
guided by a conventional image. Existing methods for this highly ill-posed task
operate in tightly constrained settings and tend to struggle when applied to
images outside the training domain or when the available depth measurements are
sparse, irregularly distributed, or of varying density. Inspired by recent
advances in monocular depth estimation, we reframe depth completion as an
image-conditional depth map generation guided by sparse measurements. Our
method, Marigold-DC, builds on a pretrained latent diffusion model for
monocular depth estimation and injects the depth observations as test-time
guidance via an optimization scheme that runs in tandem with the iterative
inference of denoising diffusion. The method exhibits excellent zero-shot
generalization across a diverse range of environments and handles even
extremely sparse guidance effectively. Our results suggest that contemporary
monocular depth priors greatly robustify depth completion: it may be better to
view the task as recovering dense depth from (dense) image pixels, guided by
sparse depth; rather than as inpainting (sparse) depth, guided by an image.
Project website: https://MarigoldDepthCompletion.github.io/