DAWN: Dynamischer Rahmenavatar mit nicht-autoregressivem Diffusionsrahmen für die Generierung von Talking-Head-Videos

DAWN: Dynamic Frame Avatar with Non-autoregressive Diffusion Framework for Talking Head Video Generation

October 17, 2024

Autoren: Hanbo Cheng, Limin Lin, Chenyu Liu, Pengcheng Xia, Pengfei Hu, Jiefeng Ma, Jun Du, Jia Pan

cs.AI

Zusammenfassung

Die Generierung von Sprecherköpfen zielt darauf ab, lebendige und realistische Videos von Sprecherköpfen aus einem einzigen Porträt und einem Sprach-Audio-Clip zu erzeugen. Obwohl bedeutende Fortschritte bei der diffusionsbasierten Generierung von Sprecherköpfen erzielt wurden, stützen sich fast alle Methoden auf autoregressive Strategien, die unter begrenzter Kontextnutzung über den aktuellen Generierungsschritt, Fehlerakkumulation und langsamere Generierungsgeschwindigkeit leiden. Um diese Herausforderungen anzugehen, präsentieren wir DAWN (Dynamischer Rahmen-Avatar mit nicht-autoregressiver Diffusion), ein Framework, das die Generierung von dynamischen Videosequenzen in einem Schritt ermöglicht. Es besteht spezifisch aus zwei Hauptkomponenten: (1) audiogetriebene ganzheitliche Generierung von Gesichtsdynamik im latenten Bewegungsraum und (2) audiogetriebene Generierung von Kopfhaltung und Blinzeln. Umfangreiche Experimente zeigen, dass unsere Methode authentische und lebendige Videos mit präzisen Lippenbewegungen sowie natürlichen Kopfhaltungs- und Blinzelbewegungen erzeugt. Darüber hinaus besitzt DAWN mit hoher Generierungsgeschwindigkeit starke Extrapolationsfähigkeiten, die eine stabile Produktion hochwertiger langer Videos gewährleisten. Diese Ergebnisse unterstreichen das beträchtliche Potenzial und den möglichen Einfluss von DAWN im Bereich der Generierung von Sprecherkopfvideos. Darüber hinaus hoffen wir, dass DAWN weitere Erkundungen nicht-autoregressiver Ansätze in Diffusionsmodellen anregt. Unser Code wird öffentlich verfügbar sein unter https://github.com/Hanbo-Cheng/DAWN-pytorch.

English

Talking head generation intends to produce vivid and realistic talking head videos from a single portrait and speech audio clip. Although significant progress has been made in diffusion-based talking head generation, almost all methods rely on autoregressive strategies, which suffer from limited context utilization beyond the current generation step, error accumulation, and slower generation speed. To address these challenges, we present DAWN (Dynamic frame Avatar With Non-autoregressive diffusion), a framework that enables all-at-once generation of dynamic-length video sequences. Specifically, it consists of two main components: (1) audio-driven holistic facial dynamics generation in the latent motion space, and (2) audio-driven head pose and blink generation. Extensive experiments demonstrate that our method generates authentic and vivid videos with precise lip motions, and natural pose/blink movements. Additionally, with a high generation speed, DAWN possesses strong extrapolation capabilities, ensuring the stable production of high-quality long videos. These results highlight the considerable promise and potential impact of DAWN in the field of talking head video generation. Furthermore, we hope that DAWN sparks further exploration of non-autoregressive approaches in diffusion models. Our code will be publicly at https://github.com/Hanbo-Cheng/DAWN-pytorch.