In-2-4D: Interpolazione da Due Immagini Monovista alla Generazione 4D

In-2-4D: Inbetweening from Two Single-View Images to 4D Generation

April 11, 2025

Autori: Sauradip Nag, Daniel Cohen-Or, Hao Zhang, Ali Mahdavi-Amiri

cs.AI

Abstract

Proponiamo un nuovo problema, In-2-4D, per l'interpolazione generativa 4D (cioè 3D + movimento) a partire da un input minimale: due immagini a singola vista che catturano un oggetto in due distinti stati di movimento. Date due immagini che rappresentano gli stati iniziale e finale di un oggetto in movimento, il nostro obiettivo è generare e ricostruire il movimento in 4D. Utilizziamo un modello di interpolazione video per prevedere il movimento, ma grandi variazioni tra frame consecutivi possono portare a interpretazioni ambigue. Per superare questo limite, adottiamo un approccio gerarchico per identificare keyframe visivamente vicini agli stati di input e che mostrano un movimento significativo, per poi generare frammenti fluidi tra di essi. Per ogni frammento, costruiamo la rappresentazione 3D del keyframe utilizzando il Gaussian Splatting. I frame temporali all'interno del frammento guidano il movimento, consentendo la loro trasformazione in Gaussiani dinamici attraverso un campo di deformazione. Per migliorare la coerenza temporale e affinare il movimento 3D, estendiamo il self-attention della diffusione multi-vista attraverso i timestep e applichiamo una regolarizzazione delle trasformazioni rigide. Infine, uniamo i segmenti di movimento 3D generati in modo indipendente interpolando i campi di deformazione ai confini e ottimizzandoli per allinearli al video guida, garantendo transizioni fluide e senza sfarfallii. Attraverso ampi esperimenti qualitativi e quantitativi, nonché uno studio con utenti, dimostriamo l'efficacia del nostro metodo e dei suoi componenti. La pagina del progetto è disponibile all'indirizzo https://in-2-4d.github.io/.

English

We propose a new problem, In-2-4D, for generative 4D (i.e., 3D + motion) inbetweening from a minimalistic input setting: two single-view images capturing an object in two distinct motion states. Given two images representing the start and end states of an object in motion, our goal is to generate and reconstruct the motion in 4D. We utilize a video interpolation model to predict the motion, but large frame-to-frame motions can lead to ambiguous interpretations. To overcome this, we employ a hierarchical approach to identify keyframes that are visually close to the input states and show significant motion, then generate smooth fragments between them. For each fragment, we construct the 3D representation of the keyframe using Gaussian Splatting. The temporal frames within the fragment guide the motion, enabling their transformation into dynamic Gaussians through a deformation field. To improve temporal consistency and refine 3D motion, we expand the self-attention of multi-view diffusion across timesteps and apply rigid transformation regularization. Finally, we merge the independently generated 3D motion segments by interpolating boundary deformation fields and optimizing them to align with the guiding video, ensuring smooth and flicker-free transitions. Through extensive qualitative and quantitiave experiments as well as a user study, we show the effectiveness of our method and its components. The project page is available at https://in-2-4d.github.io/