비드파노스: 캐주얼 패닝 비디오로부터 생성된 파노라마 비디오

초록

파노라마 이미지 스티칭은 카메라 시야를 넘어가는 장면의 통합된 광각 뷰를 제공합니다. 패닝 비디오의 프레임을 파노라마 사진으로 스티칭하는 것은 정지된 장면에 대해 잘 이해되는 문제이지만, 물체가 움직일 때는 정지된 파노라마로 장면을 캡처할 수 없습니다. 우리는 캐주얼하게 촬영된 패닝 비디오로부터 파노라마 비디오를 합성하는 방법을 제시합니다. 이는 원본 비디오가 광각 카메라로 촬영된 것처럼 보이도록 하는 것입니다. 우리는 파노라마 합성을 공간-시간 외부 그림 문제로 제시하며, 입력 비디오와 동일한 길이의 완전한 파노라마 비디오를 만들기 위해 노력합니다. 공간-시간 볼륨의 일관된 완성에는 비디오 콘텐츠와 모션에 대한 강력하고 현실적인 사전이 필요하며, 이를 위해 생성적 비디오 모델을 적응시킵니다. 그러나 기존의 생성 모델은 즉시 파노라마 완성으로 확장되지 않는다는 것을 보여줍니다. 대신 비디오 생성을 우리의 파노라마 합성 시스템의 구성 요소로 적용하고, 모델의 강점을 활용하면서 한계를 최소화하는 방법을 보여줍니다. 우리의 시스템은 사람, 차량, 흐르는 물뿐만 아니라 정지된 배경 특징을 포함한 다양한 야외 장면에 대한 비디오 파노라마를 생성할 수 있습니다.

English

Panoramic image stitching provides a unified, wide-angle view of a scene that extends beyond the camera's field of view. Stitching frames of a panning video into a panoramic photograph is a well-understood problem for stationary scenes, but when objects are moving, a still panorama cannot capture the scene. We present a method for synthesizing a panoramic video from a casually-captured panning video, as if the original video were captured with a wide-angle camera. We pose panorama synthesis as a space-time outpainting problem, where we aim to create a full panoramic video of the same length as the input video. Consistent completion of the space-time volume requires a powerful, realistic prior over video content and motion, for which we adapt generative video models. Existing generative models do not, however, immediately extend to panorama completion, as we show. We instead apply video generation as a component of our panorama synthesis system, and demonstrate how to exploit the strengths of the models while minimizing their limitations. Our system can create video panoramas for a range of in-the-wild scenes including people, vehicles, and flowing water, as well as stationary background features.

비드파노스: 캐주얼 패닝 비디오로부터 생성된 파노라마 비디오

VidPanos: Generative Panoramic Videos from Casual Panning Videos

초록

Summary

Support