제약된 확산 암시적 모델

Constrained Diffusion Implicit Models

November 1, 2024

저자: Vivek Jayaram, Ira Kemelmacher-Shlizerman, Steven M. Seitz, John Thickstun

cs.AI

초록

본 논문은 사전 학습된 확산 모델을 활용하여 소음이 있는 선형 역문제를 효율적으로 해결하는 알고리즘을 설명합니다. 소음 제거 확산 암시 모델(DDIM) 패러다임을 확장하여, 최종 출력에 제약 조건을 강제하는 확산 암시 모델(CDIM)을 제안합니다. 무소음 역문제의 경우, CDIM은 제약 조건을 정확히 만족시킵니다. 소음이 있는 경우, CDIM을 일반화하여 소음의 잔차 분포에 정확한 제약 조건을 만족하도록 합니다. 다양한 작업과 메트릭을 통한 실험 결과는 CDIM의 강력한 성능을 보여주며, 무제약 DDIM과 유사한 추론 가속화를 제공합니다. 이전 조건부 확산 방법보다 10배에서 50배 빠릅니다. 초해상도, 소음 제거, 인페인팅, 흐림 제거 및 3D 포인트 클라우드 재구성을 포함한 여러 문제에 대한 접근법의 다재다능성을 시연합니다.

English

This paper describes an efficient algorithm for solving noisy linear inverse problems using pretrained diffusion models. Extending the paradigm of denoising diffusion implicit models (DDIM), we propose constrained diffusion implicit models (CDIM) that modify the diffusion updates to enforce a constraint upon the final output. For noiseless inverse problems, CDIM exactly satisfies the constraints; in the noisy case, we generalize CDIM to satisfy an exact constraint on the residual distribution of the noise. Experiments across a variety of tasks and metrics show strong performance of CDIM, with analogous inference acceleration to unconstrained DDIM: 10 to 50 times faster than previous conditional diffusion methods. We demonstrate the versatility of our approach on many problems including super-resolution, denoising, inpainting, deblurring, and 3D point cloud reconstruction.