Imagine360: 관점 앵커로부터의 몰입형 360 동영상 생성

Imagine360: Immersive 360 Video Generation from Perspective Anchor

December 4, 2024

저자: Jing Tan, Shuai Yang, Tong Wu, Jingwen He, Yuwei Guo, Ziwei Liu, Dahua Lin

cs.AI

초록

360도 비디오는 관객들이 전체 360도에서 동적 장면을 탐험할 수 있는 초절경적인 경험을 제공합니다. 360도 비디오 형식에서 더 사용자 친화적이고 개인화된 콘텐츠 생성을 위해, 표준 시각의 비디오를 360도 이퀴렉터각도 비디오로 전환하려 합니다. 이를 위해, 우리는 고화질의 360도 비디오를 다양하고 풍부한 움직임 패턴으로 생성하는 최초의 시각에서 360도 비디오로 변환하는 프레임워크인 Imagine360을 소개합니다. Imagine360은 한계가 있는 360도 비디오 데이터에서 세밀한 구 형태의 시각적 및 움직임 패턴을 학습하는데 있어 여러 가지 주요 디자인을 갖추고 있습니다. 1) 먼저, 우리는 360도 비디오 생성을 위해 로컬 및 글로벌 제약 조건을 제공하기 위한 투영 및 파노라마 비디오 노이즈 제거 브랜치를 포함한 이중 브랜치 디자인을 채택하며, 움직임 모듈 및 공간적 LoRA 레이어를 웹 360도 비디오에서 세밀하게 조정합니다. 2) 게다가, 멀리 떨어진 움직임 종속성을 포착하기 위해 반대편 마스크가 고안되었으며, 반구 간에 반대편 픽셀 사이의 반대 방향 카메라 움직임을 강화합니다. 3) 다양한 투영 비디오 입력을 처리하기 위해, 우리는 프레임 간 고도 변화로 인한 다양한 비디오 마스킹에 적응하는 고도 인식 디자인을 제안합니다. 광범위한 실험 결과는 Imagine360이 최첨단 360도 비디오 생성 방법 중에서도 우수한 그래픽 품질과 움직임 일관성을 달성한다는 것을 보여줍니다. 우리는 Imagine360이 개인화되고 몰입적인 360도 비디오 생성을 발전시키는 데 기대할만한 가능성을 가지고 있다고 믿습니다.

English

360^circ videos offer a hyper-immersive experience that allows the viewers to explore a dynamic scene from full 360 degrees. To achieve more user-friendly and personalized content creation in 360^circ video format, we seek to lift standard perspective videos into 360^circ equirectangular videos. To this end, we introduce Imagine360, the first perspective-to-360^circ video generation framework that creates high-quality 360^circ videos with rich and diverse motion patterns from video anchors. Imagine360 learns fine-grained spherical visual and motion patterns from limited 360^circ video data with several key designs. 1) Firstly we adopt the dual-branch design, including a perspective and a panorama video denoising branch to provide local and global constraints for 360^circ video generation, with motion module and spatial LoRA layers fine-tuned on extended web 360^circ videos. 2) Additionally, an antipodal mask is devised to capture long-range motion dependencies, enhancing the reversed camera motion between antipodal pixels across hemispheres. 3) To handle diverse perspective video inputs, we propose elevation-aware designs that adapt to varying video masking due to changing elevations across frames. Extensive experiments show Imagine360 achieves superior graphics quality and motion coherence among state-of-the-art 360^circ video generation methods. We believe Imagine360 holds promise for advancing personalized, immersive 360^circ video creation.