AMD-Hummingbird: Verso un Modello Efficiente di Testo-Video

AMD-Hummingbird: Towards an Efficient Text-to-Video Model

March 24, 2025

Autori: Takashi Isobe, He Cui, Dong Zhou, Mengmeng Ge, Dong Li, Emad Barsoum

cs.AI

Abstract

La generazione di video da testo (Text-to-Video, T2V) ha attirato notevole attenzione per la sua capacità di sintetizzare video realistici a partire da descrizioni testuali. Tuttavia, i modelli esistenti faticano a bilanciare efficienza computazionale e alta qualità visiva, specialmente su dispositivi con risorse limitate, come iGPU e telefoni cellulari. La maggior parte del lavoro precedente privilegia la fedeltà visiva, trascurando la necessità di modelli più piccoli ed efficienti adatti al dispiegamento nel mondo reale. Per affrontare questa sfida, proponiamo un framework T2V leggero, denominato Hummingbird, che pota i modelli esistenti e migliora la qualità visiva attraverso l'apprendimento con feedback visivo. Il nostro approccio riduce le dimensioni della U-Net da 1,4 miliardi a 0,7 miliardi di parametri, migliorando significativamente l'efficienza pur preservando la generazione di video di alta qualità. Inoltre, introduciamo una nuova pipeline di elaborazione dei dati che sfrutta i Large Language Models (LLM) e i modelli di valutazione della qualità video (Video Quality Assessment, VQA) per migliorare la qualità sia dei prompt testuali che dei dati video. Per supportare l'addestramento guidato dall'utente e la personalizzazione dello stile, rilasciamo pubblicamente il codice completo di addestramento, inclusa l'elaborazione dei dati e l'addestramento del modello. Esperimenti estensivi dimostrano che il nostro metodo raggiunge un'accelerazione di 31X rispetto ai modelli all'avanguardia come VideoCrafter2, ottenendo anche il punteggio complessivo più alto su VBench. Inoltre, il nostro metodo supporta la generazione di video con fino a 26 fotogrammi, affrontando le limitazioni dei metodi basati su U-Net nella generazione di video lunghi. È degno di nota che l'intero processo di addestramento richiede solo quattro GPU, pur offrendo prestazioni competitive rispetto ai metodi leader esistenti. Hummingbird rappresenta una soluzione pratica ed efficiente per la generazione T2V, combinando alte prestazioni, scalabilità e flessibilità per applicazioni nel mondo reale.

English

Text-to-Video (T2V) generation has attracted significant attention for its ability to synthesize realistic videos from textual descriptions. However, existing models struggle to balance computational efficiency and high visual quality, particularly on resource-limited devices, e.g.,iGPUs and mobile phones. Most prior work prioritizes visual fidelity while overlooking the need for smaller, more efficient models suitable for real-world deployment. To address this challenge, we propose a lightweight T2V framework, termed Hummingbird, which prunes existing models and enhances visual quality through visual feedback learning. Our approach reduces the size of the U-Net from 1.4 billion to 0.7 billion parameters, significantly improving efficiency while preserving high-quality video generation. Additionally, we introduce a novel data processing pipeline that leverages Large Language Models (LLMs) and Video Quality Assessment (VQA) models to enhance the quality of both text prompts and video data. To support user-driven training and style customization, we publicly release the full training code, including data processing and model training. Extensive experiments show that our method achieves a 31X speedup compared to state-of-the-art models such as VideoCrafter2, while also attaining the highest overall score on VBench. Moreover, our method supports the generation of videos with up to 26 frames, addressing the limitations of existing U-Net-based methods in long video generation. Notably, the entire training process requires only four GPUs, yet delivers performance competitive with existing leading methods. Hummingbird presents a practical and efficient solution for T2V generation, combining high performance, scalability, and flexibility for real-world applications.