LeviTor: 3D 궤적 지향 이미지에서 비디오 합성

초록

드래그 기반 상호 작용의 직관적인 특성으로 인해 이미지에서 비디오로의 합성에서 물체 궤적을 제어하는 데 사용되는 채택이 증가하고 있습니다. 그럼에도 불구하고 2D 공간에서 드래깅을 수행하는 기존 방법들은 주로 평면 외 이동을 처리할 때 모호함에 직면합니다. 본 연구에서는 사용자가 궤적의 각 지점에 상대적인 깊이를 할당할 수 있도록 하는 새로운 차원, 즉 깊이 차원을 추가하여 상호 작용을 확장합니다. 이렇게 하면 새로운 상호 작용 패러다임은 2D 드래깅에서의 편의성을 계승할 뿐만 아니라 3D 공간에서의 궤적 제어를 용이하게 하며 창의성의 범위를 확장합니다. 우리는 물체 마스크를 몇 개의 클러스터 지점으로 추상화하여 이미지에서 비디오로의 합성에서 3D 궤적 제어를 위한 개척적인 방법을 제안합니다. 이러한 지점들은 깊이 정보와 인스턴스 정보와 함께 비디오 확산 모델로 제어 신호로 최종 공급됩니다. 광범위한 실험을 통해 우리의 접근 방식인 LeviTor가 정적 이미지로부터 사실적인 사진을 생성할 때 물체 이동을 정확하게 조작하는 데 효과적임을 검증합니다. 프로젝트 페이지: https://ppetrichor.github.io/levitor.github.io/

English

The intuitive nature of drag-based interaction has led to its growing adoption for controlling object trajectories in image-to-video synthesis. Still, existing methods that perform dragging in the 2D space usually face ambiguity when handling out-of-plane movements. In this work, we augment the interaction with a new dimension, i.e., the depth dimension, such that users are allowed to assign a relative depth for each point on the trajectory. That way, our new interaction paradigm not only inherits the convenience from 2D dragging, but facilitates trajectory control in the 3D space, broadening the scope of creativity. We propose a pioneering method for 3D trajectory control in image-to-video synthesis by abstracting object masks into a few cluster points. These points, accompanied by the depth information and the instance information, are finally fed into a video diffusion model as the control signal. Extensive experiments validate the effectiveness of our approach, dubbed LeviTor, in precisely manipulating the object movements when producing photo-realistic videos from static images. Project page: https://ppetrichor.github.io/levitor.github.io/

LeviTor: 3D 궤적 지향 이미지에서 비디오 합성

LeviTor: 3D Trajectory Oriented Image-to-Video Synthesis

초록

Support