VideoAnydoor: Inserimento di oggetti video ad alta fedeltà con controllo preciso del movimento

VideoAnydoor: High-fidelity Video Object Insertion with Precise Motion Control

January 2, 2025

Autori: Yuanpeng Tu, Hao Luo, Xi Chen, Sihui Ji, Xiang Bai, Hengshuang Zhao

cs.AI

Abstract

Nonostante i significativi progressi nella generazione di video, l'inserimento di un dato oggetto nei video rimane un compito impegnativo. La difficoltà risiede nel preservare i dettagli dell'aspetto dell'oggetto di riferimento e modellare accuratamente i movimenti coerenti contemporaneamente. In questo articolo, proponiamo VideoAnydoor, un framework di inserimento di oggetti nei video a zero-shot con una preservazione dei dettagli ad alta fedeltà e un controllo preciso del movimento. Partendo da un modello di testo-a-video, utilizziamo un estrattore di ID per iniettare l'identità globale e sfruttiamo una sequenza di box per controllare il movimento complessivo. Per preservare l'aspetto dettagliato e nel contempo supportare un controllo del movimento dettagliato, progettiamo un pixel warper. Esso prende l'immagine di riferimento con punti chiave arbitrari e le corrispondenti traiettorie dei punti chiave come input. Deforma i dettagli dei pixel in base alle traiettorie e fonde le caratteristiche deformate con il diffusion U-Net, migliorando così la preservazione dei dettagli e supportando gli utenti nella manipolazione delle traiettorie di movimento. Inoltre, proponiamo una strategia di addestramento che coinvolge sia video che immagini statiche con una perdita di ricostruzione con ripesatura per migliorare la qualità dell'inserimento. VideoAnydoor dimostra un'evidente superiorità rispetto ai metodi esistenti e supporta naturalmente varie applicazioni successive (ad esempio, generazione di testa parlante, prova virtuale di abbigliamento nei video, editing multi-regione) senza un raffinamento specifico del compito.

English

Despite significant advancements in video generation, inserting a given object into videos remains a challenging task. The difficulty lies in preserving the appearance details of the reference object and accurately modeling coherent motions at the same time. In this paper, we propose VideoAnydoor, a zero-shot video object insertion framework with high-fidelity detail preservation and precise motion control. Starting from a text-to-video model, we utilize an ID extractor to inject the global identity and leverage a box sequence to control the overall motion. To preserve the detailed appearance and meanwhile support fine-grained motion control, we design a pixel warper. It takes the reference image with arbitrary key-points and the corresponding key-point trajectories as inputs. It warps the pixel details according to the trajectories and fuses the warped features with the diffusion U-Net, thus improving detail preservation and supporting users in manipulating the motion trajectories. In addition, we propose a training strategy involving both videos and static images with a reweight reconstruction loss to enhance insertion quality. VideoAnydoor demonstrates significant superiority over existing methods and naturally supports various downstream applications (e.g., talking head generation, video virtual try-on, multi-region editing) without task-specific fine-tuning.