SmoothCache: Una tecnica universale di accelerazione dell'inferenza per i trasformatori a diffusione

SmoothCache: A Universal Inference Acceleration Technique for Diffusion Transformers

November 15, 2024

Autori: Joseph Liu, Joshua Geddes, Ziyu Guo, Haomiao Jiang, Mahesh Kumar Nandwana

cs.AI

Abstract

I trasformatori a diffusione (DiT) sono emersi come potenti modelli generativi per varie attività, inclusa la sintesi di immagini, video e discorsi. Tuttavia, il processo di inferenza rimane computazionalmente costoso a causa della valutazione ripetuta di moduli di attenzione e feed-forward intensivi in risorse. Per affrontare questo problema, introduciamo SmoothCache, una tecnica di accelerazione dell'inferenza agnostica al modello per le architetture DiT. SmoothCache sfrutta l'alta similarità osservata tra le uscite dei livelli attraverso i passaggi di diffusione adiacenti. Analizzando gli errori di rappresentazione livello per livello da un piccolo set di calibrazione, SmoothCache memorizza e riutilizza in modo adattivo le caratteristiche chiave durante l'inferenza. I nostri esperimenti dimostrano che SmoothCache ottiene un aumento della velocità del 8% al 71%, mantenendo o addirittura migliorando la qualità della generazione attraverso diverse modalità. Mostriamo la sua efficacia su DiT-XL per la generazione di immagini, Open-Sora per il testo-video e Stable Audio Open per il testo-audio, evidenziando il suo potenziale per abilitare applicazioni in tempo reale e ampliare l'accessibilità dei potenti modelli DiT.

English

Diffusion Transformers (DiT) have emerged as powerful generative models for various tasks, including image, video, and speech synthesis. However, their inference process remains computationally expensive due to the repeated evaluation of resource-intensive attention and feed-forward modules. To address this, we introduce SmoothCache, a model-agnostic inference acceleration technique for DiT architectures. SmoothCache leverages the observed high similarity between layer outputs across adjacent diffusion timesteps. By analyzing layer-wise representation errors from a small calibration set, SmoothCache adaptively caches and reuses key features during inference. Our experiments demonstrate that SmoothCache achieves 8% to 71% speed up while maintaining or even improving generation quality across diverse modalities. We showcase its effectiveness on DiT-XL for image generation, Open-Sora for text-to-video, and Stable Audio Open for text-to-audio, highlighting its potential to enable real-time applications and broaden the accessibility of powerful DiT models.