Vivid4D: Miglioramento della Ricostruzione 4D da Video Monoculare tramite Video Inpainting

Vivid4D: Improving 4D Reconstruction from Monocular Video by Video Inpainting

April 15, 2025

Autori: Jiaxin Huang, Sheng Miao, BangBnag Yang, Yuewen Ma, Yiyi Liao

cs.AI

Abstract

La ricostruzione di scene dinamiche 4D da video monoculari acquisiti casualmente è un compito di grande valore ma estremamente impegnativo, poiché ogni istante temporale è osservato da un singolo punto di vista. Introduciamo Vivid4D, un approccio innovativo che migliora la sintesi di video monoculari 4D aumentando le viste di osservazione, sintetizzando video multi-vista da un input monoculare. A differenza dei metodi esistenti che si basano esclusivamente su prior geometriche per la supervisione o utilizzano prior generative trascurando la geometria, noi integriamo entrambi gli aspetti. Questo riformula l'aumento delle viste come un'attività di inpainting video, in cui le viste osservate vengono deformate in nuovi punti di vista basandosi su prior di profondità monoculari. Per raggiungere questo obiettivo, addestriamo un modello di inpainting video su video web non posizionati con maschere sinteticamente generate che imitano le occlusioni dovute alla deformazione, garantendo un completamento spazialmente e temporalmente coerente delle regioni mancanti. Per mitigare ulteriormente le imprecisioni nelle prior di profondità monoculari, introduciamo una strategia iterativa di aumento delle viste e una funzione di perdita di ricostruzione robusta. Gli esperimenti dimostrano che il nostro metodo migliora efficacemente la ricostruzione e il completamento di scene 4D monoculari.

English

Reconstructing 4D dynamic scenes from casually captured monocular videos is valuable but highly challenging, as each timestamp is observed from a single viewpoint. We introduce Vivid4D, a novel approach that enhances 4D monocular video synthesis by augmenting observation views - synthesizing multi-view videos from a monocular input. Unlike existing methods that either solely leverage geometric priors for supervision or use generative priors while overlooking geometry, we integrate both. This reformulates view augmentation as a video inpainting task, where observed views are warped into new viewpoints based on monocular depth priors. To achieve this, we train a video inpainting model on unposed web videos with synthetically generated masks that mimic warping occlusions, ensuring spatially and temporally consistent completion of missing regions. To further mitigate inaccuracies in monocular depth priors, we introduce an iterative view augmentation strategy and a robust reconstruction loss. Experiments demonstrate that our method effectively improves monocular 4D scene reconstruction and completion.