Framer : Interpolation de Cadre Interactive

Framer: Interactive Frame Interpolation

October 24, 2024

Auteurs: Wen Wang, Qiuyu Wang, Kecheng Zheng, Hao Ouyang, Zhekai Chen, Biao Gong, Hao Chen, Yujun Shen, Chunhua Shen

cs.AI

Résumé

Nous proposons Framer pour l'interpolation interactive de cadres, qui vise à produire des images en transition en douceur entre deux images selon la créativité de l'utilisateur. Concrètement, en plus de prendre les images de départ et d'arrivée en entrée, notre approche permet de personnaliser le processus de transition en adaptant la trajectoire de certains points clés sélectionnés. Un tel design présente deux avantages clairs. Premièrement, l'incorporation de l'interaction humaine atténue le problème découlant des nombreuses possibilités de transformer une image en une autre, et permet ainsi un contrôle plus précis des mouvements locaux. Deuxièmement, en tant que forme la plus basique d'interaction, les points clés aident à établir la correspondance entre les cadres, améliorant le modèle pour gérer des cas complexes (par exemple, des objets sur les images de départ et d'arrivée ont des formes et styles différents). Il est à noter que notre système propose également un mode "autopilote", où nous introduisons un module pour estimer les points clés et affiner automatiquement la trajectoire, afin de simplifier l'utilisation en pratique. Des résultats expérimentaux approfondis démontrent les performances attrayantes de Framer sur diverses applications, telles que la morphing d'images, la génération de vidéos en accéléré, l'interpolation de dessins animés, etc. Le code, le modèle et l'interface seront publiés pour faciliter de futures recherches.

English

We propose Framer for interactive frame interpolation, which targets producing smoothly transitioning frames between two images as per user creativity. Concretely, besides taking the start and end frames as inputs, our approach supports customizing the transition process by tailoring the trajectory of some selected keypoints. Such a design enjoys two clear benefits. First, incorporating human interaction mitigates the issue arising from numerous possibilities of transforming one image to another, and in turn enables finer control of local motions. Second, as the most basic form of interaction, keypoints help establish the correspondence across frames, enhancing the model to handle challenging cases (e.g., objects on the start and end frames are of different shapes and styles). It is noteworthy that our system also offers an "autopilot" mode, where we introduce a module to estimate the keypoints and refine the trajectory automatically, to simplify the usage in practice. Extensive experimental results demonstrate the appealing performance of Framer on various applications, such as image morphing, time-lapse video generation, cartoon interpolation, etc. The code, the model, and the interface will be released to facilitate further research.