FLOAT: Corrispondenza di flusso latente generativo per ritratti parlanti guidati dall'audio

FLOAT: Generative Motion Latent Flow Matching for Audio-driven Talking Portrait

December 2, 2024

Autori: Taekyung Ki, Dongchan Min, Gyoungsu Chae

cs.AI

Abstract

Con il rapido avanzamento dei modelli generativi basati sulla diffusione, l'animazione di immagini ritratto ha ottenuto risultati notevoli. Tuttavia, affronta ancora sfide nella generazione video temporalmente coerente e nel campionamento veloce a causa della sua natura di campionamento iterativo. Questo articolo presenta FLOAT, un metodo di generazione di video ritratto parlante basato su un modello generativo di corrispondenza di flusso. Spostiamo la modellazione generativa dallo spazio latente basato sui pixel a uno spazio latente del movimento appreso, consentendo la progettazione efficiente di un movimento temporalmente coerente. Per raggiungere questo obiettivo, introduciamo un predittore di campo vettoriale basato su trasformatori con un meccanismo di condizionamento efficace ma semplice frame-wise. Inoltre, il nostro metodo supporta il potenziamento dell'emozione guidato dalla voce, consentendo un'incorporazione naturale di movimenti espressivi. Estesi esperimenti dimostrano che il nostro metodo supera i metodi di ritratto parlante guidati dall'audio all'avanguardia in termini di qualità visiva, fedeltà del movimento ed efficienza.

English

With the rapid advancement of diffusion-based generative models, portrait image animation has achieved remarkable results. However, it still faces challenges in temporally consistent video generation and fast sampling due to its iterative sampling nature. This paper presents FLOAT, an audio-driven talking portrait video generation method based on flow matching generative model. We shift the generative modeling from the pixel-based latent space to a learned motion latent space, enabling efficient design of temporally consistent motion. To achieve this, we introduce a transformer-based vector field predictor with a simple yet effective frame-wise conditioning mechanism. Additionally, our method supports speech-driven emotion enhancement, enabling a natural incorporation of expressive motions. Extensive experiments demonstrate that our method outperforms state-of-the-art audio-driven talking portrait methods in terms of visual quality, motion fidelity, and efficiency.