AMD-Hummingbird: Auf dem Weg zu einem effizienten Text-zu-Video-Modell

AMD-Hummingbird: Towards an Efficient Text-to-Video Model

March 24, 2025

Autoren: Takashi Isobe, He Cui, Dong Zhou, Mengmeng Ge, Dong Li, Emad Barsoum

cs.AI

Zusammenfassung

Text-to-Video (T2V)-Generierung hat aufgrund ihrer Fähigkeit, realistische Videos aus textuellen Beschreibungen zu synthetisieren, erhebliche Aufmerksamkeit erregt. Allerdings haben bestehende Modelle Schwierigkeiten, eine Balance zwischen Recheneffizienz und hoher visueller Qualität zu finden, insbesondere auf ressourcenbeschränkten Geräten wie iGPUs und Mobiltelefonen. Die meisten bisherigen Arbeiten priorisieren die visuelle Detailtreue, während sie den Bedarf an kleineren, effizienteren Modellen, die für den Einsatz in der Praxis geeignet sind, übersehen. Um diese Herausforderung zu bewältigen, schlagen wir ein leichtgewichtiges T2V-Framework vor, genannt Hummingbird, das bestehende Modelle beschneidet und die visuelle Qualität durch visuelles Feedback-Lernen verbessert. Unser Ansatz reduziert die Größe des U-Nets von 1,4 Milliarden auf 0,7 Milliarden Parameter, was die Effizienz erheblich steigert, während die hochwertige Videogenerierung erhalten bleibt. Zusätzlich führen wir eine neuartige Datenverarbeitungspipeline ein, die Large Language Models (LLMs) und Video Quality Assessment (VQA)-Modelle nutzt, um die Qualität sowohl der Textprompts als auch der Videodaten zu verbessern. Um benutzergetriebenes Training und Stilanpassungen zu unterstützen, veröffentlichen wir den vollständigen Trainingscode, einschließlich Datenverarbeitung und Modelltraining. Umfangreiche Experimente zeigen, dass unsere Methode eine 31-fache Beschleunigung im Vergleich zu state-of-the-art Modellen wie VideoCrafter2 erreicht, während sie gleichzeitig die höchste Gesamtpunktzahl auf VBench erzielt. Darüber hinaus unterstützt unsere Methode die Generierung von Videos mit bis zu 26 Frames und adressiert damit die Einschränkungen bestehender U-Net-basierter Methoden bei der Erzeugung langer Videos. Bemerkenswerterweise erfordert der gesamte Trainingsprozess nur vier GPUs, liefert jedoch eine Leistung, die mit bestehenden führenden Methoden konkurrieren kann. Hummingbird bietet eine praktische und effiziente Lösung für die T2V-Generierung, die hohe Leistung, Skalierbarkeit und Flexibilität für reale Anwendungen kombiniert.

English

Text-to-Video (T2V) generation has attracted significant attention for its ability to synthesize realistic videos from textual descriptions. However, existing models struggle to balance computational efficiency and high visual quality, particularly on resource-limited devices, e.g.,iGPUs and mobile phones. Most prior work prioritizes visual fidelity while overlooking the need for smaller, more efficient models suitable for real-world deployment. To address this challenge, we propose a lightweight T2V framework, termed Hummingbird, which prunes existing models and enhances visual quality through visual feedback learning. Our approach reduces the size of the U-Net from 1.4 billion to 0.7 billion parameters, significantly improving efficiency while preserving high-quality video generation. Additionally, we introduce a novel data processing pipeline that leverages Large Language Models (LLMs) and Video Quality Assessment (VQA) models to enhance the quality of both text prompts and video data. To support user-driven training and style customization, we publicly release the full training code, including data processing and model training. Extensive experiments show that our method achieves a 31X speedup compared to state-of-the-art models such as VideoCrafter2, while also attaining the highest overall score on VBench. Moreover, our method supports the generation of videos with up to 26 frames, addressing the limitations of existing U-Net-based methods in long video generation. Notably, the entire training process requires only four GPUs, yet delivers performance competitive with existing leading methods. Hummingbird presents a practical and efficient solution for T2V generation, combining high performance, scalability, and flexibility for real-world applications.