VidPanos: Generatieve Panoramische Video's van Informele Panningvideo's

VidPanos: Generative Panoramic Videos from Casual Panning Videos

October 17, 2024

Auteurs: Jingwei Ma, Erika Lu, Roni Paiss, Shiran Zada, Aleksander Holynski, Tali Dekel, Brian Curless, Michael Rubinstein, Forrester Cole

cs.AI

Samenvatting

Panoramische beeldstiksels bieden een uniform, breedhoekig zicht op een scène dat zich uitstrekt buiten het gezichtsveld van de camera. Het samenvoegen van frames van een panoramische foto van een pannende video is een goed begrepen probleem voor stilstaande scènes, maar wanneer objecten bewegen, kan een stilstaande panorama de scène niet vastleggen. We presenteren een methode voor het synthetiseren van een panoramische video van een informeel vastgelegde pannende video, alsof de originele video was vastgelegd met een breedhoekcamera. We stellen panorama-synthese voor als een ruimte-tijd uitverfprobleem, waarbij we streven naar het creëren van een volledige panoramische video van dezelfde lengte als de invoervideo. Consistente voltooiing van het ruimte-tijd volume vereist een krachtige, realistische prior over videomateriaal en beweging, waarvoor we generatieve videomodellen aanpassen. Bestaande generatieve modellen strekken zich echter niet direct uit tot panoramavoltooiing, zoals we laten zien. In plaats daarvan passen we videogeneratie toe als een component van ons panoramasynthesesysteem, en tonen aan hoe we de sterke punten van de modellen kunnen benutten terwijl we hun beperkingen minimaliseren. Ons systeem kan video-panorama's creëren voor een scala aan scènes in het wild, waaronder mensen, voertuigen en stromend water, evenals stilstaande achtergrondkenmerken.

English

Panoramic image stitching provides a unified, wide-angle view of a scene that extends beyond the camera's field of view. Stitching frames of a panning video into a panoramic photograph is a well-understood problem for stationary scenes, but when objects are moving, a still panorama cannot capture the scene. We present a method for synthesizing a panoramic video from a casually-captured panning video, as if the original video were captured with a wide-angle camera. We pose panorama synthesis as a space-time outpainting problem, where we aim to create a full panoramic video of the same length as the input video. Consistent completion of the space-time volume requires a powerful, realistic prior over video content and motion, for which we adapt generative video models. Existing generative models do not, however, immediately extend to panorama completion, as we show. We instead apply video generation as a component of our panorama synthesis system, and demonstrate how to exploit the strengths of the models while minimizing their limitations. Our system can create video panoramas for a range of in-the-wild scenes including people, vehicles, and flowing water, as well as stationary background features.