VideoAnydoor: Inserção de Objeto de Vídeo de Alta Fidelidade com Controle Preciso de Movimento

VideoAnydoor: High-fidelity Video Object Insertion with Precise Motion Control

January 2, 2025

Autores: Yuanpeng Tu, Hao Luo, Xi Chen, Sihui Ji, Xiang Bai, Hengshuang Zhao

cs.AI

Resumo

Apesar dos avanços significativos na geração de vídeos, inserir um objeto específico em vídeos continua sendo uma tarefa desafiadora. A dificuldade reside em preservar os detalhes de aparência do objeto de referência e modelar com precisão movimentos coerentes ao mesmo tempo. Neste artigo, propomos o VideoAnydoor, um framework de inserção de objetos em vídeos sem necessidade de treinamento prévio, com preservação de detalhes de alta fidelidade e controle preciso de movimento. Partindo de um modelo de texto para vídeo, utilizamos um extrator de ID para injetar a identidade global e aproveitamos uma sequência de caixas para controlar o movimento geral. Para preservar a aparência detalhada e ao mesmo tempo suportar um controle de movimento refinado, projetamos um warp de pixels. Ele recebe a imagem de referência com pontos-chave arbitrários e as trajetórias de pontos-chave correspondentes como entradas. Ele distorce os detalhes dos pixels de acordo com as trajetórias e funde as características distorcidas com a U-Net de difusão, melhorando assim a preservação de detalhes e apoiando os usuários na manipulação das trajetórias de movimento. Além disso, propomos uma estratégia de treinamento envolvendo tanto vídeos quanto imagens estáticas com uma perda de reconstrução de reponderação para melhorar a qualidade da inserção. O VideoAnydoor demonstra uma superioridade significativa sobre os métodos existentes e suporta naturalmente várias aplicações subsequentes (por exemplo, geração de cabeças falantes, provas virtuais de roupas em vídeo, edição de múltiplas regiões) sem ajustes finos específicos da tarefa.

English

Despite significant advancements in video generation, inserting a given object into videos remains a challenging task. The difficulty lies in preserving the appearance details of the reference object and accurately modeling coherent motions at the same time. In this paper, we propose VideoAnydoor, a zero-shot video object insertion framework with high-fidelity detail preservation and precise motion control. Starting from a text-to-video model, we utilize an ID extractor to inject the global identity and leverage a box sequence to control the overall motion. To preserve the detailed appearance and meanwhile support fine-grained motion control, we design a pixel warper. It takes the reference image with arbitrary key-points and the corresponding key-point trajectories as inputs. It warps the pixel details according to the trajectories and fuses the warped features with the diffusion U-Net, thus improving detail preservation and supporting users in manipulating the motion trajectories. In addition, we propose a training strategy involving both videos and static images with a reweight reconstruction loss to enhance insertion quality. VideoAnydoor demonstrates significant superiority over existing methods and naturally supports various downstream applications (e.g., talking head generation, video virtual try-on, multi-region editing) without task-specific fine-tuning.