AC3D: Analisi e Miglioramento del Controllo della Telecamera 3D nella Diffusione Video Transformers

AC3D: Analyzing and Improving 3D Camera Control in Video Diffusion Transformers

November 27, 2024

Autori: Sherwin Bahmani, Ivan Skorokhodov, Guocheng Qian, Aliaksandr Siarohin, Willi Menapace, Andrea Tagliasacchi, David B. Lindell, Sergey Tulyakov

cs.AI

Abstract

Numerosi lavori hanno recentemente integrato il controllo della telecamera 3D nei modelli fondamentali di testo-video, ma il controllo della telecamera risultante è spesso impreciso e la qualità della generazione video ne risente. In questo lavoro, analizziamo il movimento della telecamera da una prospettiva dei primi principi, scoprendo intuizioni che consentono una manipolazione precisa della telecamera 3D senza compromettere la qualità della sintesi. Innanzitutto, determiniamo che il movimento indotto dai movimenti della telecamera nei video è di natura a bassa frequenza. Questo ci motiva ad adattare gli orari di condizionamento delle pose di allenamento e test, accelerando la convergenza dell'allenamento migliorando la qualità visiva e del movimento. Successivamente, sondando le rappresentazioni di un trasformatore di diffusione video incondizionato, osserviamo che eseguono implicitamente la stima della posa della telecamera sotto il cofano e solo una sotto-parte dei loro strati contiene le informazioni della telecamera. Questo ci ha suggerito di limitare l'iniezione del condizionamento della telecamera a un sottoinsieme dell'architettura per evitare interferenze con altre caratteristiche video, portando a una riduzione del 4x dei parametri di allenamento, a un miglioramento della velocità di allenamento e a un aumento del 10% della qualità visiva. Infine, completiamo il tipico dataset per l'apprendimento del controllo della telecamera con un dataset curato di 20K video dinamici diversi con telecamere fisse. Questo aiuta il modello a distinguere la differenza tra il movimento della telecamera e della scena, migliorando la dinamica dei video condizionati dalla posa generati. Combiniamo queste scoperte per progettare l'architettura di Controllo Avanzato della Telecamera 3D (AC3D), il nuovo modello all'avanguardia per la modellazione video generativa con controllo della telecamera.

English

Numerous works have recently integrated 3D camera control into foundational text-to-video models, but the resulting camera control is often imprecise, and video generation quality suffers. In this work, we analyze camera motion from a first principles perspective, uncovering insights that enable precise 3D camera manipulation without compromising synthesis quality. First, we determine that motion induced by camera movements in videos is low-frequency in nature. This motivates us to adjust train and test pose conditioning schedules, accelerating training convergence while improving visual and motion quality. Then, by probing the representations of an unconditional video diffusion transformer, we observe that they implicitly perform camera pose estimation under the hood, and only a sub-portion of their layers contain the camera information. This suggested us to limit the injection of camera conditioning to a subset of the architecture to prevent interference with other video features, leading to 4x reduction of training parameters, improved training speed and 10% higher visual quality. Finally, we complement the typical dataset for camera control learning with a curated dataset of 20K diverse dynamic videos with stationary cameras. This helps the model disambiguate the difference between camera and scene motion, and improves the dynamics of generated pose-conditioned videos. We compound these findings to design the Advanced 3D Camera Control (AC3D) architecture, the new state-of-the-art model for generative video modeling with camera control.