MotionShop: 점수 가이드의 혼합을 사용한 비디오 확산 모델에서의 제로샷 모션 전이

MotionShop: Zero-Shot Motion Transfer in Video Diffusion Models with Mixture of Score Guidance

December 6, 2024

저자: Hidir Yesiltepe, Tuna Han Salih Meral, Connor Dunlop, Pinar Yanardag

cs.AI

초록

본 연구에서는 확산 트랜스포머를 통해 운동 전이 접근 방법을 제안합니다. 이는 운동 모델에서 운동 점수와 콘텐츠 점수를 분해하기 위해 조건부 점수를 재정의하는 이론적으로 기반을 둔 MSG(Mixture of Score Guidance) 프레임워크를 통해 이루어집니다. 우리의 주요 이론적 기여는 운동 전이를 잠재 에너지의 혼합으로 정의함으로써, MSG가 장면 구성을 자연스럽게 보존하고 전이된 운동 패턴의 무결성을 유지하면서 창의적인 장면 변환을 가능하게 한다는 것에 있습니다. 이 새로운 샘플링은 추가적인 교육이나 세밀한 조정 없이 사전 훈련된 비디오 확산 모델에 직접 작용합니다. MSG는 다양한 시나리오를 다루는 데 성공을 거두며, 단일 객체, 다중 객체 및 객체 간 운동 전이뿐만 아니라 복잡한 카메라 운동 전이를 포함한 실험을 통해 그 효과를 입증합니다. 게다가, 우리는 단일/다중 객체 전이와 복잡한 카메라 운동을 다루는 200개의 소스 비디오와 1000개의 전이된 운동으로 구성된 최초의 운동 전이 데이터셋인 MotionBench를 소개합니다.

English

In this work, we propose the first motion transfer approach in diffusion transformer through Mixture of Score Guidance (MSG), a theoretically-grounded framework for motion transfer in diffusion models. Our key theoretical contribution lies in reformulating conditional score to decompose motion score and content score in diffusion models. By formulating motion transfer as a mixture of potential energies, MSG naturally preserves scene composition and enables creative scene transformations while maintaining the integrity of transferred motion patterns. This novel sampling operates directly on pre-trained video diffusion models without additional training or fine-tuning. Through extensive experiments, MSG demonstrates successful handling of diverse scenarios including single object, multiple objects, and cross-object motion transfer as well as complex camera motion transfer. Additionally, we introduce MotionBench, the first motion transfer dataset consisting of 200 source videos and 1000 transferred motions, covering single/multi-object transfers, and complex camera motions.