DisPose: Disintrecciare l'orientamento della posa per un'animazione controllabile di immagini umane

DisPose: Disentangling Pose Guidance for Controllable Human Image Animation

December 12, 2024

Autori: Hongxiang Li, Yaowei Li, Yuhang Yang, Junjie Cao, Zhihong Zhu, Xuxin Cheng, Long Chen

cs.AI

Abstract

L'animazione di immagini umane controllabile mira a generare video da immagini di riferimento utilizzando video guida. A causa dei segnali di controllo limitati forniti da una guida scarsa (ad esempio, posa dello scheletro), lavori recenti hanno cercato di introdurre condizioni dense aggiuntive (ad esempio, mappa di profondità) per garantire l'allineamento del movimento. Tuttavia, una guida densa così rigorosa compromette la qualità del video generato quando la forma del corpo del personaggio di riferimento differisce significativamente da quella del video guida. In questo articolo, presentiamo DisPose per estrarre segnali di controllo più generalizzabili ed efficaci senza input denso aggiuntivo, che disaccoppia la posa dello scheletro scarsa nell'animazione di immagini umane in guida del campo di movimento e corrispondenza dei punti chiave. In particolare, generiamo un campo di movimento denso da un campo di movimento sparso e dall'immagine di riferimento, che fornisce una guida densa a livello di regione mantenendo la generalizzazione del controllo di posa sparso. Estraiamo inoltre le caratteristiche di diffusione corrispondenti ai punti chiave della posa dall'immagine di riferimento, e quindi queste caratteristiche puntuali vengono trasferite alla posa di destinazione per fornire informazioni di identità distinte. Per integrarsi senza soluzione di continuità nei modelli esistenti, proponiamo un ControlNet ibrido plug-and-play che migliora la qualità e la coerenza dei video generati mentre congela i parametri del modello esistente. Estesi esperimenti qualitativi e quantitativi dimostrano la superiorità di DisPose rispetto ai metodi attuali. Codice: https://github.com/lihxxx/DisPose.

English

Controllable human image animation aims to generate videos from reference images using driving videos. Due to the limited control signals provided by sparse guidance (e.g., skeleton pose), recent works have attempted to introduce additional dense conditions (e.g., depth map) to ensure motion alignment. However, such strict dense guidance impairs the quality of the generated video when the body shape of the reference character differs significantly from that of the driving video. In this paper, we present DisPose to mine more generalizable and effective control signals without additional dense input, which disentangles the sparse skeleton pose in human image animation into motion field guidance and keypoint correspondence. Specifically, we generate a dense motion field from a sparse motion field and the reference image, which provides region-level dense guidance while maintaining the generalization of the sparse pose control. We also extract diffusion features corresponding to pose keypoints from the reference image, and then these point features are transferred to the target pose to provide distinct identity information. To seamlessly integrate into existing models, we propose a plug-and-play hybrid ControlNet that improves the quality and consistency of generated videos while freezing the existing model parameters. Extensive qualitative and quantitative experiments demonstrate the superiority of DisPose compared to current methods. Code: https://github.com/lihxxx/DisPose{https://github.com/lihxxx/DisPose}.