SmoothCache: Een Universele Inferentie Versnellings Techniek voor Diffusie Transformatoren

SmoothCache: A Universal Inference Acceleration Technique for Diffusion Transformers

November 15, 2024

Auteurs: Joseph Liu, Joshua Geddes, Ziyu Guo, Haomiao Jiang, Mahesh Kumar Nandwana

cs.AI

Samenvatting

Diffusie Transformers (DiT) zijn naar voren gekomen als krachtige generatieve modellen voor verschillende taken, waaronder beeld-, video- en spraaksynthese. De inferentieprocedure blijft echter rekenkundig duur vanwege de herhaalde evaluatie van resource-intensieve aandachts- en feedforward-modules. Om dit aan te pakken, introduceren we SmoothCache, een model-agnostische versnellingsmethode voor inferentie van DiT-architecturen. SmoothCache maakt gebruik van de waargenomen hoge gelijkenis tussen laaguitvoer over aangrenzende diffusietijdstappen. Door laagsgewijze representatiefouten te analyseren vanuit een kleine kalibratieset, cacht en hergebruikt SmoothCache adaptief belangrijke kenmerken tijdens inferentie. Onze experimenten tonen aan dat SmoothCache een versnelling van 8% tot 71% bereikt, terwijl de generatiekwaliteit behouden blijft of zelfs verbetert over diverse modaliteiten. We tonen de effectiviteit aan op DiT-XL voor beeldgeneratie, Open-Sora voor tekst-naar-video en Stable Audio Open voor tekst-naar-audio, waarbij de potentie wordt benadrukt om real-time toepassingen mogelijk te maken en de toegankelijkheid van krachtige DiT-modellen te vergroten.

English

Diffusion Transformers (DiT) have emerged as powerful generative models for various tasks, including image, video, and speech synthesis. However, their inference process remains computationally expensive due to the repeated evaluation of resource-intensive attention and feed-forward modules. To address this, we introduce SmoothCache, a model-agnostic inference acceleration technique for DiT architectures. SmoothCache leverages the observed high similarity between layer outputs across adjacent diffusion timesteps. By analyzing layer-wise representation errors from a small calibration set, SmoothCache adaptively caches and reuses key features during inference. Our experiments demonstrate that SmoothCache achieves 8% to 71% speed up while maintaining or even improving generation quality across diverse modalities. We showcase its effectiveness on DiT-XL for image generation, Open-Sora for text-to-video, and Stable Audio Open for text-to-audio, highlighting its potential to enable real-time applications and broaden the accessibility of powerful DiT models.