DAWN: Dynamisch Frame Avatar met een Niet-autoregressief Diffusiekader voor het Genereren van Praatvideo's met een Geanimeerd Hoofd

DAWN: Dynamic Frame Avatar with Non-autoregressive Diffusion Framework for Talking Head Video Generation

October 17, 2024

Auteurs: Hanbo Cheng, Limin Lin, Chenyu Liu, Pengcheng Xia, Pengfei Hu, Jiefeng Ma, Jun Du, Jia Pan

cs.AI

Samenvatting

Het genereren van pratende hoofden heeft tot doel levendige en realistische video's van pratende hoofden te produceren vanuit een enkel portret en spraakaudioclip. Hoewel er aanzienlijke vooruitgang is geboekt in het genereren van pratende hoofden op basis van diffusie, vertrouwen bijna alle methoden op autoregressieve strategieën, die lijden onder beperkt gebruik van context voorbij de huidige generatiestap, foutenopbouw en langzamere generatiesnelheid. Om deze uitdagingen aan te pakken, presenteren we DAWN (Dynamisch frame Avatar Met Niet-autoregressieve diffusie), een raamwerk dat het genereren van dynamische videosequenties van variabele lengte in één keer mogelijk maakt. Het bestaat specifiek uit twee hoofdcomponenten: (1) door audio gestuurde holistische generatie van gezichtsdynamiek in de latente bewegingsruimte, en (2) door audio gestuurde generatie van hoofdpositie en knipperen. Uitgebreide experimenten tonen aan dat onze methode authentieke en levendige video's genereert met nauwkeurige lipbewegingen en natuurlijke pose/knipperbewegingen. Bovendien, met een hoge generatiesnelheid, heeft DAWN sterke extrapolatiecapaciteiten, wat zorgt voor stabiele productie van hoogwaardige lange video's. Deze resultaten benadrukken de aanzienlijke belofte en potentiële impact van DAWN in het veld van het genereren van pratende hoofdvideo's. Bovendien hopen we dat DAWN verdere verkenning van niet-autoregressieve benaderingen in diffusiemodellen stimuleert. Onze code zal openbaar beschikbaar zijn op https://github.com/Hanbo-Cheng/DAWN-pytorch.

English

Talking head generation intends to produce vivid and realistic talking head videos from a single portrait and speech audio clip. Although significant progress has been made in diffusion-based talking head generation, almost all methods rely on autoregressive strategies, which suffer from limited context utilization beyond the current generation step, error accumulation, and slower generation speed. To address these challenges, we present DAWN (Dynamic frame Avatar With Non-autoregressive diffusion), a framework that enables all-at-once generation of dynamic-length video sequences. Specifically, it consists of two main components: (1) audio-driven holistic facial dynamics generation in the latent motion space, and (2) audio-driven head pose and blink generation. Extensive experiments demonstrate that our method generates authentic and vivid videos with precise lip motions, and natural pose/blink movements. Additionally, with a high generation speed, DAWN possesses strong extrapolation capabilities, ensuring the stable production of high-quality long videos. These results highlight the considerable promise and potential impact of DAWN in the field of talking head video generation. Furthermore, we hope that DAWN sparks further exploration of non-autoregressive approaches in diffusion models. Our code will be publicly at https://github.com/Hanbo-Cheng/DAWN-pytorch.