Estrapolazione di Nuove Viste con Priorità di Diffusione Video

Novel View Extrapolation with Video Diffusion Priors

November 21, 2024

Autori: Kunhao Liu, Ling Shao, Shijian Lu

cs.AI

Abstract

Il campo della sintesi di nuove visuali ha compiuto significativi progressi grazie allo sviluppo dei metodi dei campi di radianza. Tuttavia, la maggior parte delle tecniche dei campi di radianza sono molto più efficaci nell'interpolazione di nuove visuali che nell'estrapolazione di nuove visuali, dove le visuali sintetizzate sono molto al di là delle visuali di allenamento osservate. Progettiamo ViewExtrapolator, un approccio alla sintesi di nuove visuali che sfrutta i prior generativi della Diffusione Video Stabile (SVD) per un'estrapolazione realistica di nuove visuali. Ridisegnando il processo di denoising SVD, ViewExtrapolator perfeziona le visuali soggette ad artefatti rese dai campi di radianza, migliorando notevolmente la chiarezza e il realismo delle nuove visuali sintetizzate. ViewExtrapolator è un estrapolatore di nuove visuali generico che può funzionare con diversi tipi di rendering 3D come visualizzazioni rese da nuvole di punti quando è disponibile solo una singola vista o un video monoculare. Inoltre, ViewExtrapolator non richiede un'ottimizzazione fine di SVD, rendendolo sia efficiente nei dati che efficiente nei calcoli. Estesi esperimenti dimostrano la superiorità di ViewExtrapolator nell'estrapolazione di nuove visuali. Pagina del progetto: https://kunhao-liu.github.io/ViewExtrapolator/.

English

The field of novel view synthesis has made significant strides thanks to the development of radiance field methods. However, most radiance field techniques are far better at novel view interpolation than novel view extrapolation where the synthesis novel views are far beyond the observed training views. We design ViewExtrapolator, a novel view synthesis approach that leverages the generative priors of Stable Video Diffusion (SVD) for realistic novel view extrapolation. By redesigning the SVD denoising process, ViewExtrapolator refines the artifact-prone views rendered by radiance fields, greatly enhancing the clarity and realism of the synthesized novel views. ViewExtrapolator is a generic novel view extrapolator that can work with different types of 3D rendering such as views rendered from point clouds when only a single view or monocular video is available. Additionally, ViewExtrapolator requires no fine-tuning of SVD, making it both data-efficient and computation-efficient. Extensive experiments demonstrate the superiority of ViewExtrapolator in novel view extrapolation. Project page: https://kunhao-liu.github.io/ViewExtrapolator/.