Framer: Interpolazione interattiva dei frame

Framer: Interactive Frame Interpolation

October 24, 2024

Autori: Wen Wang, Qiuyu Wang, Kecheng Zheng, Hao Ouyang, Zhekai Chen, Biao Gong, Hao Chen, Yujun Shen, Chunhua Shen

cs.AI

Abstract

Proponiamo Framer per l'interpolazione interattiva dei frame, che mira a produrre frame con transizioni fluide tra due immagini secondo la creatività dell'utente. In concreto, oltre ad utilizzare i frame iniziale e finale come input, il nostro approccio supporta la personalizzazione del processo di transizione adattando la traiettoria di alcuni keypoints selezionati. Tale progettazione offre due chiari vantaggi. In primo luogo, l'incorporazione dell'interazione umana attenua il problema derivante dalle numerose possibilità di trasformare un'immagine in un'altra, consentendo un controllo più preciso dei movimenti locali. In secondo luogo, come forma più basilare di interazione, i keypoints aiutano a stabilire la corrispondenza tra i frame, potenziando il modello per gestire casi complessi (ad esempio, oggetti nei frame iniziale e finale hanno forme e stili diversi). È importante notare che il nostro sistema offre anche una modalità "autopilota", in cui introduciamo un modulo per stimare automaticamente i keypoints e perfezionare la traiettoria, semplificando l'utilizzo nella pratica. Estesi risultati sperimentali dimostrano le prestazioni accattivanti di Framer su varie applicazioni, come il morphing delle immagini, la generazione di video in time-lapse, l'interpolazione di cartoni, ecc. Il codice, il modello e l'interfaccia saranno rilasciati per agevolare ulteriori ricerche.

English

We propose Framer for interactive frame interpolation, which targets producing smoothly transitioning frames between two images as per user creativity. Concretely, besides taking the start and end frames as inputs, our approach supports customizing the transition process by tailoring the trajectory of some selected keypoints. Such a design enjoys two clear benefits. First, incorporating human interaction mitigates the issue arising from numerous possibilities of transforming one image to another, and in turn enables finer control of local motions. Second, as the most basic form of interaction, keypoints help establish the correspondence across frames, enhancing the model to handle challenging cases (e.g., objects on the start and end frames are of different shapes and styles). It is noteworthy that our system also offers an "autopilot" mode, where we introduce a module to estimate the keypoints and refine the trajectory automatically, to simplify the usage in practice. Extensive experimental results demonstrate the appealing performance of Framer on various applications, such as image morphing, time-lapse video generation, cartoon interpolation, etc. The code, the model, and the interface will be released to facilitate further research.