Trasferimento del Movimento Video con Trasformatori di Diffusione

Abstract

Proponiamo DiTFlow, un metodo per trasferire il movimento di un video di riferimento a uno appena sintetizzato, progettato specificamente per i Trasformatori a Diffusione (DiT). Prima elaboriamo il video di riferimento con un DiT pre-addestrato per analizzare le mappe di attenzione tra frame ed estrarre un segnale di movimento a livello di patch chiamato Flusso di Movimento di Attenzione (AMF). Guidiamo il processo di denoising latente in modo basato sull'ottimizzazione, senza necessità di addestramento, ottimizzando i latenti con la nostra perdita AMF per generare video che riproducono il movimento di quello di riferimento. Applichiamo inoltre la nostra strategia di ottimizzazione agli embedding posizionali del trasformatore, garantendoci un miglioramento nelle capacità di trasferimento di movimento senza bisogno di addestramento. Valutiamo DiTFlow rispetto a metodi recentemente pubblicati, superando tutti su molteplici metriche ed valutazioni umane.

English

We propose DiTFlow, a method for transferring the motion of a reference video to a newly synthesized one, designed specifically for Diffusion Transformers (DiT). We first process the reference video with a pre-trained DiT to analyze cross-frame attention maps and extract a patch-wise motion signal called the Attention Motion Flow (AMF). We guide the latent denoising process in an optimization-based, training-free, manner by optimizing latents with our AMF loss to generate videos reproducing the motion of the reference one. We also apply our optimization strategy to transformer positional embeddings, granting us a boost in zero-shot motion transfer capabilities. We evaluate DiTFlow against recently published methods, outperforming all across multiple metrics and human evaluation.

Trasferimento del Movimento Video con Trasformatori di Diffusione

Video Motion Transfer with Diffusion Transformers

Abstract

Summary

Articoli in Evidenza

L'Era degli LLM a 1 bit: Tutti i Modelli Linguistici di Grande Dimensione sono in 1,58 Bit
The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits

DeepSeek-R1: Incentivizzare la capacità di ragionamento nei LLM tramite Apprendimento per Rinforzo
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning

Rapporto Tecnico Qwen2.5
Qwen2.5 Technical Report

Support

Abstract

Summary

Articoli in Evidenza

L'Era degli LLM a 1 bit: Tutti i Modelli Linguistici di Grande Dimensione sono in 1,58 BitThe Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits

DeepSeek-R1: Incentivizzare la capacità di ragionamento nei LLM tramite Apprendimento per RinforzoDeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning

Rapporto Tecnico Qwen2.5Qwen2.5 Technical Report

L'Era degli LLM a 1 bit: Tutti i Modelli Linguistici di Grande Dimensione sono in 1,58 Bit
The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits

DeepSeek-R1: Incentivizzare la capacità di ragionamento nei LLM tramite Apprendimento per Rinforzo
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning

Rapporto Tecnico Qwen2.5
Qwen2.5 Technical Report