SmoothCache: Eine universelle Inferenzbeschleunigungstechnik für Diffusionstransformatoren

SmoothCache: A Universal Inference Acceleration Technique for Diffusion Transformers

November 15, 2024

Autoren: Joseph Liu, Joshua Geddes, Ziyu Guo, Haomiao Jiang, Mahesh Kumar Nandwana

cs.AI

Zusammenfassung

Diffusions-Transformer (DiT) haben sich als leistungsstarke generative Modelle für verschiedene Aufgaben, einschließlich Bild-, Video- und Sprachsynthese, etabliert. Der Inferenzprozess bleibt jedoch aufgrund der wiederholten Auswertung ressourcenintensiver Aufmerksamkeits- und Feedforward-Module rechenintensiv. Um dies zu lösen, stellen wir SmoothCache vor, eine modellunabhängige Inferenzbeschleunigungstechnik für DiT-Architekturen. SmoothCache nutzt die beobachtete hohe Ähnlichkeit zwischen Schichtausgaben über benachbarte Diffusions-Zeitschritte hinweg. Durch die Analyse von Schicht-für-Schicht-Repräsentationsfehlern aus einem kleinen Kalibrierungsset puffert und wiederverwendet SmoothCache adaptiv Schlüsselfunktionen während der Inferenz. Unsere Experimente zeigen, dass SmoothCache eine Beschleunigung von 8 % bis 71 % erreicht, während die Generierungsqualität über verschiedene Modalitäten hinweg beibehalten oder sogar verbessert wird. Wir zeigen die Wirksamkeit anhand von DiT-XL für die Bildgenerierung, Open-Sora für Text-zu-Video und Stable Audio Open für Text-zu-Audio und heben ihr Potenzial hervor, Echtzeitanwendungen zu ermöglichen und den Zugang zu leistungsstarken DiT-Modellen zu erweitern.

English

Diffusion Transformers (DiT) have emerged as powerful generative models for various tasks, including image, video, and speech synthesis. However, their inference process remains computationally expensive due to the repeated evaluation of resource-intensive attention and feed-forward modules. To address this, we introduce SmoothCache, a model-agnostic inference acceleration technique for DiT architectures. SmoothCache leverages the observed high similarity between layer outputs across adjacent diffusion timesteps. By analyzing layer-wise representation errors from a small calibration set, SmoothCache adaptively caches and reuses key features during inference. Our experiments demonstrate that SmoothCache achieves 8% to 71% speed up while maintaining or even improving generation quality across diverse modalities. We showcase its effectiveness on DiT-XL for image generation, Open-Sora for text-to-video, and Stable Audio Open for text-to-audio, highlighting its potential to enable real-time applications and broaden the accessibility of powerful DiT models.