Creazione di Video per Dimostrazione

Video Creation by Demonstration

December 12, 2024

Autori: Yihong Sun, Hao Zhou, Liangzhe Yuan, Jennifer J. Sun, Yandong Li, Xuhui Jia, Hartwig Adam, Bharath Hariharan, Long Zhao, Ting Liu

cs.AI

Abstract

Esploriamo una nuova esperienza di creazione di video, chiamata Creazione di Video per Dimostrazione. Data un video di dimostrazione e un'immagine di contesto da una scena diversa, generiamo un video fisicamente plausibile che prosegue naturalmente dall'immagine di contesto e mette in atto i concetti d'azione della dimostrazione. Per abilitare questa capacità, presentiamo delta-Diffusion, un approccio di addestramento auto-supervisionato che apprende da video non etichettati attraverso la previsione condizionale di frame futuri. A differenza della maggior parte dei controlli di generazione video esistenti che si basano su segnali espliciti, adottiamo la forma di controllo latente implicito per massima flessibilità ed espressività richiesta dai video in generale. Sfruttando un modello di fondazione video con un design di bottleneck di aspetto in cima, estraiamo latenti d'azione dai video di dimostrazione per condizionare il processo di generazione con minima perdita di aspetto. Empiricamente, delta-Diffusion supera i baselines correlati sia in termini di preferenza umana che di valutazioni su larga scala da parte di macchine, e dimostra potenzialità verso la simulazione interattiva del mondo. Risultati di generazione video campionati sono disponibili su https://delta-diffusion.github.io/.

English

We explore a novel video creation experience, namely Video Creation by Demonstration. Given a demonstration video and a context image from a different scene, we generate a physically plausible video that continues naturally from the context image and carries out the action concepts from the demonstration. To enable this capability, we present delta-Diffusion, a self-supervised training approach that learns from unlabeled videos by conditional future frame prediction. Unlike most existing video generation controls that are based on explicit signals, we adopts the form of implicit latent control for maximal flexibility and expressiveness required by general videos. By leveraging a video foundation model with an appearance bottleneck design on top, we extract action latents from demonstration videos for conditioning the generation process with minimal appearance leakage. Empirically, delta-Diffusion outperforms related baselines in terms of both human preference and large-scale machine evaluations, and demonstrates potentials towards interactive world simulation. Sampled video generation results are available at https://delta-diffusion.github.io/.