Eingeschränkte Diffusionsimplizite Modelle

Constrained Diffusion Implicit Models

November 1, 2024

Autoren: Vivek Jayaram, Ira Kemelmacher-Shlizerman, Steven M. Seitz, John Thickstun

cs.AI

Zusammenfassung

Dieses Paper beschreibt einen effizienten Algorithmus zur Lösung von rauschbehafteten linearen inversen Problemen unter Verwendung vorab trainierter Diffusionsmodelle. Durch die Erweiterung des Paradigmas der Rauschunterdrückungs-Diffusionsimpliziten Modelle (DDIM) schlagen wir eingeschränkte Diffusionsimplizite Modelle (CDIM) vor, die die Diffusionsaktualisierungen modifizieren, um eine Einschränkung auf die endgültige Ausgabe zu erzwingen. Für rauschfreie inverse Probleme erfüllt CDIM die Einschränkungen genau; im rauschbehafteten Fall verallgemeinern wir CDIM, um eine genaue Einschränkung auf die Restverteilung des Rauschens zu erfüllen. Experimente über eine Vielzahl von Aufgaben und Metriken zeigen die starke Leistung von CDIM, mit einer ähnlichen Inferenzbeschleunigung wie bei unbeschränkten DDIM: 10 bis 50 Mal schneller als bisherige bedingte Diffusionsmethoden. Wir zeigen die Vielseitigkeit unseres Ansatzes bei vielen Problemen, darunter Super-Resolution, Rauschunterdrückung, Inpainting, Entschärfung und 3D-Punktwolkenrekonstruktion.

English

This paper describes an efficient algorithm for solving noisy linear inverse problems using pretrained diffusion models. Extending the paradigm of denoising diffusion implicit models (DDIM), we propose constrained diffusion implicit models (CDIM) that modify the diffusion updates to enforce a constraint upon the final output. For noiseless inverse problems, CDIM exactly satisfies the constraints; in the noisy case, we generalize CDIM to satisfy an exact constraint on the residual distribution of the noise. Experiments across a variety of tasks and metrics show strong performance of CDIM, with analogous inference acceleration to unconstrained DDIM: 10 to 50 times faster than previous conditional diffusion methods. We demonstrate the versatility of our approach on many problems including super-resolution, denoising, inpainting, deblurring, and 3D point cloud reconstruction.