Modelli Impliciti a Diffusione Vincolata

Constrained Diffusion Implicit Models

November 1, 2024
Autori: Vivek Jayaram, Ira Kemelmacher-Shlizerman, Steven M. Seitz, John Thickstun
cs.AI

Abstract

Questo articolo descrive un algoritmo efficiente per risolvere problemi inversi lineari rumorosi utilizzando modelli di diffusione preaddestrati. Estendendo il paradigma dei modelli impliciti di diffusione per la rimozione del rumore (DDIM), proponiamo modelli impliciti di diffusione vincolati (CDIM) che modificano gli aggiornamenti di diffusione per imporre un vincolo sull'output finale. Per problemi inversi senza rumore, CDIM soddisfa esattamente i vincoli; nel caso rumoroso, generalizziamo CDIM per soddisfare un vincolo esatto sulla distribuzione residua del rumore. Gli esperimenti su una varietà di compiti e metriche mostrano un'elevata performance di CDIM, con un'accelerazione dell'inferezza analoga a DDIM non vincolato: da 10 a 50 volte più veloce rispetto ai metodi di diffusione condizionale precedenti. Dimostriamo la versatilità del nostro approccio su molti problemi, inclusi sovracampionamento, rimozione del rumore, inpainting, sfocatura e ricostruzione di nuvole di punti in 3D.
English
This paper describes an efficient algorithm for solving noisy linear inverse problems using pretrained diffusion models. Extending the paradigm of denoising diffusion implicit models (DDIM), we propose constrained diffusion implicit models (CDIM) that modify the diffusion updates to enforce a constraint upon the final output. For noiseless inverse problems, CDIM exactly satisfies the constraints; in the noisy case, we generalize CDIM to satisfy an exact constraint on the residual distribution of the noise. Experiments across a variety of tasks and metrics show strong performance of CDIM, with analogous inference acceleration to unconstrained DDIM: 10 to 50 times faster than previous conditional diffusion methods. We demonstrate the versatility of our approach on many problems including super-resolution, denoising, inpainting, deblurring, and 3D point cloud reconstruction.

Summary

AI-Generated Summary

PDF62November 13, 2024