프레이머: 대화형 프레임 보간

Framer: Interactive Frame Interpolation

October 24, 2024

저자: Wen Wang, Qiuyu Wang, Kecheng Zheng, Hao Ouyang, Zhekai Chen, Biao Gong, Hao Chen, Yujun Shen, Chunhua Shen

cs.AI

초록

우리는 사용자의 창의력에 따라 두 이미지 사이에서 부드럽게 전환되는 프레임을 생성하는 대화형 프레임 보간을 위한 Framer를 제안합니다. 구체적으로, 시작 및 끝 프레임을 입력으로 취하는 것 외에도, 우리의 접근 방식은 일부 선택된 키포인트의 궤적을 맞춤 설정하여 전환 프로세스를 사용자 정의할 수 있습니다. 이러한 설계에는 두 가지 명확한 이점이 있습니다. 첫째, 인간 상호작용을 통합함으로써 한 이미지를 다른 이미지로 변환하는 다양한 가능성에서 발생하는 문제를 완화시키고, 결과적으로 지역 모션을 더 세밀하게 제어할 수 있습니다. 둘째, 상호작용의 가장 기본적인 형태인 키포인트는 프레임 간 대응을 설정하여 모델이 어려운 경우(예: 시작 및 끝 프레임의 객체가 다른 모양과 스타일을 가짐)를 처리하도록 돕습니다. 우리의 시스템은 또한 "자율 주행" 모드를 제공하여, 실제 사용을 간편화하기 위해 키포인트를 추정하고 궤적을 자동으로 개선하는 모듈을 소개합니다. 다양한 응용 프로그램(예: 이미지 형태 변환, 타임랩스 비디오 생성, 만화 보간 등)에서 Framer의 매력적인 성능을 입증하는 광범위한 실험 결과가 있습니다. 코드, 모델 및 인터페이스는 추가 연구를 용이하게 하기 위해 공개될 예정입니다.

English

We propose Framer for interactive frame interpolation, which targets producing smoothly transitioning frames between two images as per user creativity. Concretely, besides taking the start and end frames as inputs, our approach supports customizing the transition process by tailoring the trajectory of some selected keypoints. Such a design enjoys two clear benefits. First, incorporating human interaction mitigates the issue arising from numerous possibilities of transforming one image to another, and in turn enables finer control of local motions. Second, as the most basic form of interaction, keypoints help establish the correspondence across frames, enhancing the model to handle challenging cases (e.g., objects on the start and end frames are of different shapes and styles). It is noteworthy that our system also offers an "autopilot" mode, where we introduce a module to estimate the keypoints and refine the trajectory automatically, to simplify the usage in practice. Extensive experimental results demonstrate the appealing performance of Framer on various applications, such as image morphing, time-lapse video generation, cartoon interpolation, etc. The code, the model, and the interface will be released to facilitate further research.