Optimale Schrittweite für Diffusions-Sampling

Optimal Stepsize for Diffusion Sampling

March 27, 2025

Autoren: Jianning Pei, Han Hu, Shuyang Gu

cs.AI

Zusammenfassung

Diffusionsmodelle erreichen eine bemerkenswerte Generierungsqualität, leiden jedoch unter rechenintensivem Sampling aufgrund suboptimaler Schrittdiskretisierung. Während bestehende Arbeiten sich auf die Optimierung von Entrauschungsrichtungen konzentrieren, adressieren wir das prinzipielle Design von Schrittweitenplänen. Dieses Papier schlägt Optimal Stepsize Distillation vor, ein dynamisches Programmierungsframework, das theoretisch optimale Pläne durch die Destillation von Wissen aus Referenztrajektorien extrahiert. Durch die Neuformulierung der Schrittweitenoptimierung als rekursive Fehlerminimierung garantiert unsere Methode globale Diskretisierungsgrenzen durch die Ausnutzung optimaler Substrukturen. Entscheidend ist, dass die destillierten Pläne eine starke Robustheit über Architekturen, ODE-Solver und Rauschpläne hinweg demonstrieren. Experimente zeigen eine 10-fach beschleunigte Text-zu-Bild-Generierung bei gleichzeitiger Beibehaltung von 99,4 % der Leistung auf GenEval. Unser Code ist verfügbar unter https://github.com/bebebe666/OptimalSteps.

English

Diffusion models achieve remarkable generation quality but suffer from computational intensive sampling due to suboptimal step discretization. While existing works focus on optimizing denoising directions, we address the principled design of stepsize schedules. This paper proposes Optimal Stepsize Distillation, a dynamic programming framework that extracts theoretically optimal schedules by distilling knowledge from reference trajectories. By reformulating stepsize optimization as recursive error minimization, our method guarantees global discretization bounds through optimal substructure exploitation. Crucially, the distilled schedules demonstrate strong robustness across architectures, ODE solvers, and noise schedules. Experiments show 10x accelerated text-to-image generation while preserving 99.4% performance on GenEval. Our code is available at https://github.com/bebebe666/OptimalSteps.