Kader: Interactieve Kaderinterpolatie

Framer: Interactive Frame Interpolation

October 24, 2024

Auteurs: Wen Wang, Qiuyu Wang, Kecheng Zheng, Hao Ouyang, Zhekai Chen, Biao Gong, Hao Chen, Yujun Shen, Chunhua Shen

cs.AI

Samenvatting

Wij stellen Framer voor voor interactieve frame-interpolatie, die tot doel heeft vloeiend overgangsframes te produceren tussen twee afbeeldingen volgens de creativiteit van de gebruiker. Concreet ondersteunt onze benadering, naast het gebruik van de start- en eindframes als invoer, het aanpassen van het overgangsproces door de baan van enkele geselecteerde sleutelpunten op maat te maken. Zo'n ontwerp heeft twee duidelijke voordelen. Ten eerste vermindert het opnemen van menselijke interactie het probleem dat ontstaat door talloze mogelijkheden om de ene afbeelding in de andere te transformeren, en maakt het op zijn beurt fijnere controle over lokale bewegingen mogelijk. Ten tweede helpen sleutelpunten als meest elementaire vorm van interactie bij het vaststellen van de overeenkomst tussen frames, waardoor het model wordt versterkt om uitdagende gevallen aan te pakken (bijv. objecten op de start- en eindframes hebben verschillende vormen en stijlen). Het is vermeldenswaard dat ons systeem ook een "autopilot"-modus biedt, waarbij we een module introduceren om de sleutelpunten te schatten en de baan automatisch te verfijnen, om het gebruik in de praktijk te vereenvoudigen. Uitgebreide experimentele resultaten tonen de aantrekkelijke prestaties van Framer op verschillende toepassingen, zoals beeldvervorming, het genereren van time-lapse video's, cartooninterpolatie, enz. De code, het model en de interface zullen worden vrijgegeven om verder onderzoek te vergemakkelijken.

English

We propose Framer for interactive frame interpolation, which targets producing smoothly transitioning frames between two images as per user creativity. Concretely, besides taking the start and end frames as inputs, our approach supports customizing the transition process by tailoring the trajectory of some selected keypoints. Such a design enjoys two clear benefits. First, incorporating human interaction mitigates the issue arising from numerous possibilities of transforming one image to another, and in turn enables finer control of local motions. Second, as the most basic form of interaction, keypoints help establish the correspondence across frames, enhancing the model to handle challenging cases (e.g., objects on the start and end frames are of different shapes and styles). It is noteworthy that our system also offers an "autopilot" mode, where we introduce a module to estimate the keypoints and refine the trajectory automatically, to simplify the usage in practice. Extensive experimental results demonstrate the appealing performance of Framer on various applications, such as image morphing, time-lapse video generation, cartoon interpolation, etc. The code, the model, and the interface will be released to facilitate further research.