MotionCanvas: 제어 가능한 이미지에서 비디오로의 영화 촬영 디자인

MotionCanvas: Cinematic Shot Design with Controllable Image-to-Video Generation

February 6, 2025

저자: Jinbo Xing, Long Mai, Cusuh Ham, Jiahui Huang, Aniruddha Mahapatra, Chi-Wing Fu, Tien-Tsin Wong, Feng Liu

cs.AI

초록

본 논문은 이미지에서 비디오를 생성하는 맥락에서 사용자가 시네마틱 비디오 샷을 디자인할 수 있는 방법을 제시합니다. 필름 제작의 중요한 측면인 샷 디자인은 장면 내에서 카메라 이동과 물체 움직임을 세심하게 계획하는 것을 포함합니다. 그러나 현대 이미지에서 비디오를 생성하는 시스템에서 직관적인 샷 디자인을 가능하게 하는 것은 두 가지 주요 도전점을 제시합니다. 첫째, 사용자 의도를 효과적으로 포착하는 것인데, 여기서 카메라 이동과 장면 내 물체 움직임이 함께 명시되어야 합니다. 둘째, 비디오 확산 모델이 이미지 애니메이션을 합성하는 데 효과적으로 활용할 수 있는 움직임 정보를 표현하는 것입니다. 이러한 도전에 대응하기 위해 우리는 MotionCanvas를 소개합니다. 이 방법은 사용자 주도 제어를 이미지에서 비디오 (I2V) 생성 모델에 통합하여 사용자가 장면을 고려한 방식으로 물체와 카메라 움직임을 제어할 수 있게 합니다. 고전적인 컴퓨터 그래픽스와 현대적인 비디오 생성 기술의 통찰력을 연결함으로써, 우리는 비용이 많이 드는 3D 관련 훈련 데이터가 필요하지 않은 I2V 합성에서 3D 인식 움직임 제어 능력을 증명합니다. MotionCanvas는 사용자가 장면 내 움직임 의도를 직관적으로 묘사하고, 비디오 확산 모델을 위한 시공간 움직임 조건 신호로 변환합니다. 우리의 방법의 효과를 다양한 실제 이미지 콘텐츠와 샷 디자인 시나리오에서 입증하여, 디지털 콘텐츠 제작의 창의적인 작업 흐름을 향상시키고 다양한 이미지 및 비디오 편집 응용 프로그램에 적응할 수 있는 잠재력을 강조합니다.

English

This paper presents a method that allows users to design cinematic video shots in the context of image-to-video generation. Shot design, a critical aspect of filmmaking, involves meticulously planning both camera movements and object motions in a scene. However, enabling intuitive shot design in modern image-to-video generation systems presents two main challenges: first, effectively capturing user intentions on the motion design, where both camera movements and scene-space object motions must be specified jointly; and second, representing motion information that can be effectively utilized by a video diffusion model to synthesize the image animations. To address these challenges, we introduce MotionCanvas, a method that integrates user-driven controls into image-to-video (I2V) generation models, allowing users to control both object and camera motions in a scene-aware manner. By connecting insights from classical computer graphics and contemporary video generation techniques, we demonstrate the ability to achieve 3D-aware motion control in I2V synthesis without requiring costly 3D-related training data. MotionCanvas enables users to intuitively depict scene-space motion intentions, and translates them into spatiotemporal motion-conditioning signals for video diffusion models. We demonstrate the effectiveness of our method on a wide range of real-world image content and shot-design scenarios, highlighting its potential to enhance the creative workflows in digital content creation and adapt to various image and video editing applications.