AC3D: 비디오 확산에서 3D 카메라 제어 분석 및 개선하기 트랜스포머

AC3D: Analyzing and Improving 3D Camera Control in Video Diffusion Transformers

November 27, 2024

저자: Sherwin Bahmani, Ivan Skorokhodov, Guocheng Qian, Aliaksandr Siarohin, Willi Menapace, Andrea Tagliasacchi, David B. Lindell, Sergey Tulyakov

cs.AI

초록

최근 많은 연구들이 기초적인 텍스트 대 동영상 모델에 3D 카메라 제어를 통합해왔지만, 그 결과로 나타나는 카메라 제어는 종종 부정확하며, 동영상 생성 품질이 저하됩니다. 본 연구에서는 카메라 움직임을 초점으로 한 첫 번째 원칙적인 관점에서 분석하여, 합성 품질을 저해하지 않으면서도 정확한 3D 카메라 조작을 가능하게 하는 통찰력을 발견했습니다. 먼저, 비디오에서 카메라 움직임에 의해 유발된 움직임이 저주파성임을 확인했습니다. 이로 인해 우리는 훈련 및 테스트 포즈 조건 일정을 조정하여 훈련 수렴을 가속화하고 시각 및 움직임 품질을 향상시키는 것을 동기로 삼았습니다. 그런 다음, 무조건적 비디오 확산 트랜스포머의 표현을 조사함으로써, 그들이 내재적으로 카메라 포즈 추정을 수행하고 있음을 발견했으며, 그들의 일부 레이어만이 카메라 정보를 포함하고 있음을 알았습니다. 이로 인해 다른 비디오 기능과의 간섭을 방지하기 위해 일부 아키텍처에 카메라 조건을 주입하는 것을 제안하였고, 이는 훈련 매개변수의 4배 감소, 향상된 훈련 속도 및 10% 더 높은 시각 품질을 이끌어 냈습니다. 마지막으로, 일반적인 카메라 제어 학습 데이터셋을 20,000개의 다양한 동적 비디오와 정지된 카메라로 구성된 선별된 데이터셋으로 보완했습니다. 이는 모델이 카메라와 장면 움직임의 차이를 명확히 하고, 생성된 포즈 조건 비디오의 동적을 향상시키는 데 도움이 되었습니다. 이러한 발견들을 종합하여, 카메라 제어를 통한 생성적 비디오 모델링을 위한 최신 기술 모델인 고급 3D 카메라 제어(AC3D) 아키텍처를 설계했습니다.

English

Numerous works have recently integrated 3D camera control into foundational text-to-video models, but the resulting camera control is often imprecise, and video generation quality suffers. In this work, we analyze camera motion from a first principles perspective, uncovering insights that enable precise 3D camera manipulation without compromising synthesis quality. First, we determine that motion induced by camera movements in videos is low-frequency in nature. This motivates us to adjust train and test pose conditioning schedules, accelerating training convergence while improving visual and motion quality. Then, by probing the representations of an unconditional video diffusion transformer, we observe that they implicitly perform camera pose estimation under the hood, and only a sub-portion of their layers contain the camera information. This suggested us to limit the injection of camera conditioning to a subset of the architecture to prevent interference with other video features, leading to 4x reduction of training parameters, improved training speed and 10% higher visual quality. Finally, we complement the typical dataset for camera control learning with a curated dataset of 20K diverse dynamic videos with stationary cameras. This helps the model disambiguate the difference between camera and scene motion, and improves the dynamics of generated pose-conditioned videos. We compound these findings to design the Advanced 3D Camera Control (AC3D) architecture, the new state-of-the-art model for generative video modeling with camera control.