Modèles implicites de diffusion contrainte

Constrained Diffusion Implicit Models

November 1, 2024

Auteurs: Vivek Jayaram, Ira Kemelmacher-Shlizerman, Steven M. Seitz, John Thickstun

cs.AI

Résumé

Cet article décrit un algorithme efficace pour résoudre des problèmes inverses linéaires bruités en utilisant des modèles de diffusion pré-entraînés. En étendant le paradigme des modèles implicites de diffusion pour le débruitage (DDIM), nous proposons des modèles implicites de diffusion contraints (CDIM) qui modifient les mises à jour de diffusion pour imposer une contrainte sur la sortie finale. Pour les problèmes inverses sans bruit, CDIM satisfait exactement les contraintes ; dans le cas bruité, nous généralisons CDIM pour satisfaire une contrainte exacte sur la distribution résiduelle du bruit. Des expériences sur une variété de tâches et de métriques montrent de bonnes performances de CDIM, avec une accélération d'inférence similaire à celle de DDIM non contraint : de 10 à 50 fois plus rapide que les méthodes de diffusion conditionnelle précédentes. Nous démontrons la polyvalence de notre approche sur de nombreux problèmes, notamment la super-résolution, le débruitage, l'inpainting, le défloutage et la reconstruction de nuages de points 3D.

English

This paper describes an efficient algorithm for solving noisy linear inverse problems using pretrained diffusion models. Extending the paradigm of denoising diffusion implicit models (DDIM), we propose constrained diffusion implicit models (CDIM) that modify the diffusion updates to enforce a constraint upon the final output. For noiseless inverse problems, CDIM exactly satisfies the constraints; in the noisy case, we generalize CDIM to satisfy an exact constraint on the residual distribution of the noise. Experiments across a variety of tasks and metrics show strong performance of CDIM, with analogous inference acceleration to unconstrained DDIM: 10 to 50 times faster than previous conditional diffusion methods. We demonstrate the versatility of our approach on many problems including super-resolution, denoising, inpainting, deblurring, and 3D point cloud reconstruction.