GS-DiT: Avançando na Geração de Vídeo com Campos Gaussianos Pseudo 4D através de Rastreamento Eficiente de Pontos 3D Densos

GS-DiT: Advancing Video Generation with Pseudo 4D Gaussian Fields through Efficient Dense 3D Point Tracking

January 5, 2025

Autores: Weikang Bian, Zhaoyang Huang, Xiaoyu Shi, Yijin Li, Fu-Yun Wang, Hongsheng Li

cs.AI

Resumo

O controle de vídeo 4D é essencial na geração de vídeos, pois permite o uso de técnicas sofisticadas de lentes, como filmagem com múltiplas câmeras e zoom de dolly, que atualmente não são suportadas por métodos existentes. Treinar um Transformador de Difusão de Vídeo (DiT) diretamente para controlar conteúdo 4D requer vídeos multi-visão caros. Inspirados pela Síntese de Visualização Dinâmica Monocular (MDVS) que otimiza uma representação 4D e renderiza vídeos de acordo com diferentes elementos 4D, como pose da câmera e edição de movimento do objeto, introduzimos campos gaussianos pseudo 4D na geração de vídeos. Especificamente, propomos um novo framework que constrói um campo gaussiano pseudo 4D com rastreamento denso de pontos 3D e renderiza o campo gaussiano para todos os frames de vídeo. Em seguida, ajustamos finamente um DiT pré-treinado para gerar vídeos seguindo a orientação do vídeo renderizado, chamado de GS-DiT. Para impulsionar o treinamento do GS-DiT, também propomos um método eficiente de Rastreamento de Pontos 3D Densos (D3D-PT) para a construção do campo gaussiano pseudo 4D. Nosso D3D-PT supera o SpatialTracker, o método de rastreamento de pontos 3D esparsos de última geração, em precisão e acelera a velocidade de inferência em duas ordens de magnitude. Durante a etapa de inferência, o GS-DiT pode gerar vídeos com o mesmo conteúdo dinâmico enquanto adere a diferentes parâmetros da câmera, abordando uma limitação significativa dos modelos atuais de geração de vídeos. O GS-DiT demonstra fortes capacidades de generalização e estende a controlabilidade 4D do splatting gaussiano para a geração de vídeos além das poses de câmera. Ele suporta efeitos cinematográficos avançados por meio da manipulação do campo gaussiano e intrínsecos da câmera, tornando-se uma ferramenta poderosa para produção de vídeo criativa. Demonstrativos estão disponíveis em https://wkbian.github.io/Projects/GS-DiT/.

English

4D video control is essential in video generation as it enables the use of sophisticated lens techniques, such as multi-camera shooting and dolly zoom, which are currently unsupported by existing methods. Training a video Diffusion Transformer (DiT) directly to control 4D content requires expensive multi-view videos. Inspired by Monocular Dynamic novel View Synthesis (MDVS) that optimizes a 4D representation and renders videos according to different 4D elements, such as camera pose and object motion editing, we bring pseudo 4D Gaussian fields to video generation. Specifically, we propose a novel framework that constructs a pseudo 4D Gaussian field with dense 3D point tracking and renders the Gaussian field for all video frames. Then we finetune a pretrained DiT to generate videos following the guidance of the rendered video, dubbed as GS-DiT. To boost the training of the GS-DiT, we also propose an efficient Dense 3D Point Tracking (D3D-PT) method for the pseudo 4D Gaussian field construction. Our D3D-PT outperforms SpatialTracker, the state-of-the-art sparse 3D point tracking method, in accuracy and accelerates the inference speed by two orders of magnitude. During the inference stage, GS-DiT can generate videos with the same dynamic content while adhering to different camera parameters, addressing a significant limitation of current video generation models. GS-DiT demonstrates strong generalization capabilities and extends the 4D controllability of Gaussian splatting to video generation beyond just camera poses. It supports advanced cinematic effects through the manipulation of the Gaussian field and camera intrinsics, making it a powerful tool for creative video production. Demos are available at https://wkbian.github.io/Projects/GS-DiT/.