Modelli Impliciti a Diffusione Vincolata
Constrained Diffusion Implicit Models
November 1, 2024
Autori: Vivek Jayaram, Ira Kemelmacher-Shlizerman, Steven M. Seitz, John Thickstun
cs.AI
Abstract
Questo articolo descrive un algoritmo efficiente per risolvere problemi inversi lineari rumorosi utilizzando modelli di diffusione preaddestrati. Estendendo il paradigma dei modelli impliciti di diffusione per la rimozione del rumore (DDIM), proponiamo modelli impliciti di diffusione vincolati (CDIM) che modificano gli aggiornamenti di diffusione per imporre un vincolo sull'output finale. Per problemi inversi senza rumore, CDIM soddisfa esattamente i vincoli; nel caso rumoroso, generalizziamo CDIM per soddisfare un vincolo esatto sulla distribuzione residua del rumore. Gli esperimenti su una varietà di compiti e metriche mostrano un'elevata performance di CDIM, con un'accelerazione dell'inferezza analoga a DDIM non vincolato: da 10 a 50 volte più veloce rispetto ai metodi di diffusione condizionale precedenti. Dimostriamo la versatilità del nostro approccio su molti problemi, inclusi sovracampionamento, rimozione del rumore, inpainting, sfocatura e ricostruzione di nuvole di punti in 3D.
English
This paper describes an efficient algorithm for solving noisy linear inverse
problems using pretrained diffusion models. Extending the paradigm of denoising
diffusion implicit models (DDIM), we propose constrained diffusion implicit
models (CDIM) that modify the diffusion updates to enforce a constraint upon
the final output. For noiseless inverse problems, CDIM exactly satisfies the
constraints; in the noisy case, we generalize CDIM to satisfy an exact
constraint on the residual distribution of the noise. Experiments across a
variety of tasks and metrics show strong performance of CDIM, with analogous
inference acceleration to unconstrained DDIM: 10 to 50 times faster than
previous conditional diffusion methods. We demonstrate the versatility of our
approach on many problems including super-resolution, denoising, inpainting,
deblurring, and 3D point cloud reconstruction.Summary
AI-Generated Summary