Framer: Interaktive Rahmeninterpolation

Framer: Interactive Frame Interpolation

October 24, 2024

Autoren: Wen Wang, Qiuyu Wang, Kecheng Zheng, Hao Ouyang, Zhekai Chen, Biao Gong, Hao Chen, Yujun Shen, Chunhua Shen

cs.AI

Zusammenfassung

Wir schlagen Framer für die interaktive Bildinterpolation vor, die darauf abzielt, sanft übergehende Frames zwischen zwei Bildern gemäß der Benutzerkreativität zu erzeugen. Konkret unterstützt unser Ansatz neben der Verwendung der Start- und Endframes auch die Anpassung des Übergangsprozesses durch die Gestaltung der Trajektorie einiger ausgewählter Schlüsselpunkte. Ein solches Design bietet zwei klare Vorteile. Erstens mildert die Einbeziehung menschlicher Interaktion das Problem, das sich aus zahlreichen Möglichkeiten der Transformation eines Bildes in ein anderes ergibt, und ermöglicht somit eine feinere Steuerung lokaler Bewegungen. Zweitens helfen Schlüsselpunkte als einfachste Form der Interaktion dabei, die Korrespondenz zwischen den Frames herzustellen und das Modell zu verbessern, um anspruchsvolle Fälle zu bewältigen (z. B. Objekte auf den Start- und Endframes haben unterschiedliche Formen und Stile). Es ist erwähnenswert, dass unser System auch einen "Autopilot"-Modus bietet, bei dem wir ein Modul einführen, um die Schlüsselpunkte zu schätzen und die Trajektorie automatisch zu verfeinern, um die Anwendung in der Praxis zu vereinfachen. Umfangreiche experimentelle Ergebnisse zeigen die überzeugende Leistung von Framer in verschiedenen Anwendungen wie Bildmorphing, Zeitraffer-Videogenerierung, Cartoon-Interpolation usw. Der Code, das Modell und die Benutzeroberfläche werden veröffentlicht, um weitere Forschung zu erleichtern.

English

We propose Framer for interactive frame interpolation, which targets producing smoothly transitioning frames between two images as per user creativity. Concretely, besides taking the start and end frames as inputs, our approach supports customizing the transition process by tailoring the trajectory of some selected keypoints. Such a design enjoys two clear benefits. First, incorporating human interaction mitigates the issue arising from numerous possibilities of transforming one image to another, and in turn enables finer control of local motions. Second, as the most basic form of interaction, keypoints help establish the correspondence across frames, enhancing the model to handle challenging cases (e.g., objects on the start and end frames are of different shapes and styles). It is noteworthy that our system also offers an "autopilot" mode, where we introduce a module to estimate the keypoints and refine the trajectory automatically, to simplify the usage in practice. Extensive experimental results demonstrate the appealing performance of Framer on various applications, such as image morphing, time-lapse video generation, cartoon interpolation, etc. The code, the model, and the interface will be released to facilitate further research.