Passo ottimale per il campionamento diffusivo

Optimal Stepsize for Diffusion Sampling

March 27, 2025

Autori: Jianning Pei, Han Hu, Shuyang Gu

cs.AI

Abstract

I modelli di diffusione raggiungono una qualità di generazione notevole, ma soffrono di un campionamento computazionalmente intensivo a causa di una discretizzazione dei passi subottimale. Mentre i lavori esistenti si concentrano sull'ottimizzazione delle direzioni di denoising, noi affrontiamo la progettazione principiata delle pianificazioni dei passi. Questo articolo propone l'Optimal Stepsize Distillation, un framework di programmazione dinamica che estrae pianificazioni teoricamente ottimali distillando conoscenza da traiettorie di riferimento. Riformulando l'ottimizzazione dei passi come una minimizzazione ricorsiva dell'errore, il nostro metodo garantisce limiti globali di discretizzazione attraverso lo sfruttamento della sottostruttura ottimale. In modo cruciale, le pianificazioni distillate dimostrano una forte robustezza tra architetture, risolutori di ODE e pianificazioni del rumore. Gli esperimenti mostrano una generazione testo-immagine accelerata di 10 volte, preservando il 99,4% delle prestazioni su GenEval. Il nostro codice è disponibile all'indirizzo https://github.com/bebebe666/OptimalSteps.

English

Diffusion models achieve remarkable generation quality but suffer from computational intensive sampling due to suboptimal step discretization. While existing works focus on optimizing denoising directions, we address the principled design of stepsize schedules. This paper proposes Optimal Stepsize Distillation, a dynamic programming framework that extracts theoretically optimal schedules by distilling knowledge from reference trajectories. By reformulating stepsize optimization as recursive error minimization, our method guarantees global discretization bounds through optimal substructure exploitation. Crucially, the distilled schedules demonstrate strong robustness across architectures, ODE solvers, and noise schedules. Experiments show 10x accelerated text-to-image generation while preserving 99.4% performance on GenEval. Our code is available at https://github.com/bebebe666/OptimalSteps.