AnchorCrafter: Anima gli ancoraggi cibernetici per la vendita dei tuoi prodotti tramite la generazione di video di interazione tra persone e oggetti.

AnchorCrafter: Animate CyberAnchors Saling Your Products via Human-Object Interacting Video Generation

November 26, 2024

Autori: Ziyi Xu, Ziyao Huang, Juan Cao, Yong Zhang, Xiaodong Cun, Qing Shuai, Yuchen Wang, Linchao Bao, Jintao Li, Fan Tang

cs.AI

Abstract

La generazione automatica di video promozionali di prodotti in stile anchor offre opportunità promettenti nel commercio online, nella pubblicità e nell'coinvolgimento del consumatore. Tuttavia, ciò rimane un compito impegnativo nonostante significativi avanzamenti nella generazione di video umani guidati dalla postura. Affrontando questa sfida, identifichiamo l'integrazione delle interazioni umano-oggetto (HOI) nella generazione di video umani guidata dalla postura come questione centrale. A questo scopo, presentiamo AnchorCrafter, un nuovo sistema basato sulla diffusione progettato per generare video 2D che presentano un umano target e un oggetto personalizzato, raggiungendo un'elevata fedeltà visiva e interazioni controllabili. In particolare, proponiamo due innovazioni chiave: la percezione dell'aspetto HOI, che potenzia il riconoscimento dell'aspetto dell'oggetto da prospettive arbitrarie multi-view e disaccoppia l'aspetto dell'oggetto e dell'umano, e l'iniezione del movimento HOI, che consente interazioni umano-oggetto complesse superando sfide nella condizionamento della traiettoria dell'oggetto e nella gestione dell'inter-occlusione. Inoltre, introduciamo il loss di ripesatura della regione HOI, un obiettivo di addestramento che potenzia l'apprendimento dei dettagli dell'oggetto. Estesi esperimenti dimostrano che il nostro sistema proposto supera i metodi esistenti nel preservare l'aspetto e la consapevolezza della forma dell'oggetto, mantenendo contemporaneamente la coerenza nell'aspetto e nel movimento umano. Pagina del progetto: https://cangcz.github.io/Anchor-Crafter/

English

The automatic generation of anchor-style product promotion videos presents promising opportunities in online commerce, advertising, and consumer engagement. However, this remains a challenging task despite significant advancements in pose-guided human video generation. In addressing this challenge, we identify the integration of human-object interactions (HOI) into pose-guided human video generation as a core issue. To this end, we introduce AnchorCrafter, a novel diffusion-based system designed to generate 2D videos featuring a target human and a customized object, achieving high visual fidelity and controllable interactions. Specifically, we propose two key innovations: the HOI-appearance perception, which enhances object appearance recognition from arbitrary multi-view perspectives and disentangles object and human appearance, and the HOI-motion injection, which enables complex human-object interactions by overcoming challenges in object trajectory conditioning and inter-occlusion management. Additionally, we introduce the HOI-region reweighting loss, a training objective that enhances the learning of object details. Extensive experiments demonstrate that our proposed system outperforms existing methods in preserving object appearance and shape awareness, while simultaneously maintaining consistency in human appearance and motion. Project page: https://cangcz.github.io/Anchor-Crafter/