X-Dyna: Ausdrucksstarke dynamische Animation menschlicher Bilder

X-Dyna: Expressive Dynamic Human Image Animation

January 17, 2025

Autoren: Di Chang, Hongyi Xu, You Xie, Yipeng Gao, Zhengfei Kuang, Shengqu Cai, Chenxu Zhang, Guoxian Song, Chao Wang, Yichun Shi, Zeyuan Chen, Shijie Zhou, Linjie Luo, Gordon Wetzstein, Mohammad Soleymani

cs.AI

Zusammenfassung

Wir stellen X-Dyna vor, eine innovative Zero-Shot-Diffusions-Pipeline zur Animation eines einzelnen menschlichen Bildes unter Verwendung von Gesichtsausdrücken und Körperbewegungen, die aus einem Referenzvideo abgeleitet sind. Diese generiert realistische, kontextbewusste Dynamiken sowohl für das Subjekt als auch für die umgebende Umgebung. Aufbauend auf früheren Ansätzen, die sich auf die Steuerung der menschlichen Körperhaltung konzentrieren, behebt X-Dyna wesentliche Mängel, die zum Verlust von dynamischen Details führen, und verbessert so die lebensechten Qualitäten von Videoanimationen mit menschlichen Figuren. Im Kern unseres Ansatzes steht der Dynamics-Adapter, ein leichtgewichtiges Modul, das das Referenzerscheinungsbild effektiv in die räumliche Aufmerksamkeit des Diffusionsrückgrats integriert, während es die Fähigkeit der Bewegungsmodule bewahrt, flüssige und komplexe dynamische Details zu synthetisieren. Über die Steuerung der Körperhaltung hinaus verbinden wir ein lokales Steuerungsmodul mit unserem Modell, um identitätsentwirrte Gesichtsausdrücke zu erfassen und einen präzisen Ausdrucksübertrag für eine realistischere Darstellung in animierten Szenen zu ermöglichen. Diese Komponenten bilden gemeinsam ein einheitliches Framework, das in der Lage ist, menschliche Bewegungen und natürliche Szenendynamiken aus einer vielfältigen Mischung von menschlichen und Szenenvideos zu erlernen. Umfassende qualitative und quantitative Bewertungen zeigen, dass X-Dyna im Vergleich zu führenden Methoden eine überlegene Leistung erbringt und äußerst lebensechte und ausdrucksstarke Animationen erstellt. Der Code ist verfügbar unter https://github.com/bytedance/X-Dyna.

English

We introduce X-Dyna, a novel zero-shot, diffusion-based pipeline for animating a single human image using facial expressions and body movements derived from a driving video, that generates realistic, context-aware dynamics for both the subject and the surrounding environment. Building on prior approaches centered on human pose control, X-Dyna addresses key shortcomings causing the loss of dynamic details, enhancing the lifelike qualities of human video animations. At the core of our approach is the Dynamics-Adapter, a lightweight module that effectively integrates reference appearance context into the spatial attentions of the diffusion backbone while preserving the capacity of motion modules in synthesizing fluid and intricate dynamic details. Beyond body pose control, we connect a local control module with our model to capture identity-disentangled facial expressions, facilitating accurate expression transfer for enhanced realism in animated scenes. Together, these components form a unified framework capable of learning physical human motion and natural scene dynamics from a diverse blend of human and scene videos. Comprehensive qualitative and quantitative evaluations demonstrate that X-Dyna outperforms state-of-the-art methods, creating highly lifelike and expressive animations. The code is available at https://github.com/bytedance/X-Dyna.