Beperkte Diffusie Impliciete Modellen

Constrained Diffusion Implicit Models

November 1, 2024
Auteurs: Vivek Jayaram, Ira Kemelmacher-Shlizerman, Steven M. Seitz, John Thickstun
cs.AI

Samenvatting

Dit artikel beschrijft een efficiënt algoritme voor het oplossen van lawaaierige lineaire inverse problemen met behulp van vooraf getrainde diffusiemodellen. Door het paradigma van denoising diffusie impliciete modellen (DDIM) uit te breiden, stellen we geconstrainde diffusie impliciete modellen (CDIM) voor die de diffusie-updates aanpassen om een beperking op de uiteindelijke output af te dwingen. Voor ruisloze inverse problemen voldoet CDIM precies aan de beperkingen; in het geval van ruis generaliseren we CDIM om precies aan een beperking op de restverdeling van het geluid te voldoen. Experimenten over een verscheidenheid aan taken en metingen tonen sterke prestaties van CDIM, met een vergelijkbare versnelling van de inferentie als onbeperkte DDIM: 10 tot 50 keer sneller dan eerdere conditionele diffusiemethoden. We tonen de veelzijdigheid van onze aanpak aan op vele problemen, waaronder super-resolutie, denoising, inpainting, debezemen en 3D-puntwolkreconstructie.
English
This paper describes an efficient algorithm for solving noisy linear inverse problems using pretrained diffusion models. Extending the paradigm of denoising diffusion implicit models (DDIM), we propose constrained diffusion implicit models (CDIM) that modify the diffusion updates to enforce a constraint upon the final output. For noiseless inverse problems, CDIM exactly satisfies the constraints; in the noisy case, we generalize CDIM to satisfy an exact constraint on the residual distribution of the noise. Experiments across a variety of tasks and metrics show strong performance of CDIM, with analogous inference acceleration to unconstrained DDIM: 10 to 50 times faster than previous conditional diffusion methods. We demonstrate the versatility of our approach on many problems including super-resolution, denoising, inpainting, deblurring, and 3D point cloud reconstruction.

Summary

AI-Generated Summary

PDF52November 13, 2024