SANA-Sprint: Ein-Schritt-Diffusion mit kontinuierlicher Zeitkonsistenz durch Destillation

SANA-Sprint: One-Step Diffusion with Continuous-Time Consistency Distillation

March 12, 2025

Autoren: Junsong Chen, Shuchen Xue, Yuyang Zhao, Jincheng Yu, Sayak Paul, Junyu Chen, Han Cai, Enze Xie, Song Han

cs.AI

Zusammenfassung

Dieses Paper stellt SANA-Sprint vor, ein effizientes Diffusionsmodell für ultraschnelle Text-zu-Bild (T2I)-Generierung. SANA-Sprint basiert auf einem vortrainierten Basismodell und wird durch hybride Destillation erweitert, wodurch die Inferenzschritte drastisch von 20 auf 1-4 reduziert werden. Wir führen drei zentrale Innovationen ein: (1) Wir schlagen einen trainingsfreien Ansatz vor, der ein vortrainiertes Flow-Matching-Modell für die kontinuierliche Zeitkonsistenzdestillation (sCM) transformiert, wodurch kostspieliges Training von Grund auf vermieden und eine hohe Trainingseffizienz erreicht wird. Unsere hybride Destillationsstrategie kombiniert sCM mit latenter adversarieller Destillation (LADD): sCM gewährleistet die Ausrichtung am Lehrermodell, während LADD die Einzelschrittgenerationsqualität verbessert. (2) SANA-Sprint ist ein einheitliches, schrittadaptives Modell, das eine hochwertige Generierung in 1-4 Schritten erreicht, wodurch schrittspezifisches Training entfällt und die Effizienz gesteigert wird. (3) Wir integrieren ControlNet mit SANA-Sprint für die Echtzeit-Interaktionsbildgenerierung, was eine sofortige visuelle Rückmeldung für Benutzerinteraktionen ermöglicht. SANA-Sprint setzt eine neue Pareto-Grenze im Geschwindigkeits-Qualitäts-Kompromiss und erreicht mit 7,59 FID und 0,74 GenEval in nur einem Schritt state-of-the-art Leistung – übertrifft dabei FLUX-schnell (7,94 FID / 0,71 GenEval) und ist 10x schneller (0,1s vs. 1,1s auf H100). Es erreicht auch 0,1s (T2I) und 0,25s (ControlNet) Latenz für 1024 x 1024 Bilder auf H100 und 0,31s (T2I) auf einer RTX 4090, was seine außergewöhnliche Effizienz und sein Potenzial für KI-gestützte Verbraucheranwendungen (AIPC) unterstreicht. Code und vortrainierte Modelle werden Open-Source bereitgestellt.

English

This paper presents SANA-Sprint, an efficient diffusion model for ultra-fast text-to-image (T2I) generation. SANA-Sprint is built on a pre-trained foundation model and augmented with hybrid distillation, dramatically reducing inference steps from 20 to 1-4. We introduce three key innovations: (1) We propose a training-free approach that transforms a pre-trained flow-matching model for continuous-time consistency distillation (sCM), eliminating costly training from scratch and achieving high training efficiency. Our hybrid distillation strategy combines sCM with latent adversarial distillation (LADD): sCM ensures alignment with the teacher model, while LADD enhances single-step generation fidelity. (2) SANA-Sprint is a unified step-adaptive model that achieves high-quality generation in 1-4 steps, eliminating step-specific training and improving efficiency. (3) We integrate ControlNet with SANA-Sprint for real-time interactive image generation, enabling instant visual feedback for user interaction. SANA-Sprint establishes a new Pareto frontier in speed-quality tradeoffs, achieving state-of-the-art performance with 7.59 FID and 0.74 GenEval in only 1 step - outperforming FLUX-schnell (7.94 FID / 0.71 GenEval) while being 10x faster (0.1s vs 1.1s on H100). It also achieves 0.1s (T2I) and 0.25s (ControlNet) latency for 1024 x 1024 images on H100, and 0.31s (T2I) on an RTX 4090, showcasing its exceptional efficiency and potential for AI-powered consumer applications (AIPC). Code and pre-trained models will be open-sourced.