L'Ordine delle Sequenze: Sfruttare i Modelli Video nella Super-Risoluzione 3D

Sequence Matters: Harnessing Video Models in 3D Super-Resolution

December 16, 2024

Autori: Hyun-kyu Ko, Dongheok Park, Youngin Park, Byeonghyeon Lee, Juhee Han, Eunbyung Park

cs.AI

Abstract

La super-risoluzione 3D mira a ricostruire modelli 3D ad alta fedeltà da immagini multi-visuale a bassa risoluzione (LR). Gli studi iniziali si sono concentrati principalmente sui modelli di super-risoluzione per immagini singole (SISR) per aumentare la risoluzione delle immagini LR in immagini ad alta risoluzione. Tuttavia, questi metodi spesso mancano di coerenza visiva poiché operano indipendentemente su ciascuna immagine. Nonostante siano state esplorate varie tecniche di post-elaborazione per attenuare queste incongruenze, esse non sono ancora riuscite a risolvere completamente i problemi. In questo articolo, conduciamo uno studio esaustivo sulla super-risoluzione 3D sfruttando i modelli di super-risoluzione video (VSR). Utilizzando i modelli VSR, garantiamo un maggiore grado di coerenza spaziale e possiamo fare riferimento alle informazioni spaziali circostanti, portando a ricostruzioni più accurate e dettagliate. I nostri risultati rivelano che i modelli VSR possono ottenere risultati notevolmente positivi anche su sequenze prive di un allineamento spaziale preciso. Considerando questa osservazione, proponiamo un approccio semplice ma pratico per allineare le immagini LR senza coinvolgere il raffinamento o la generazione di una traiettoria 'regolare' dai modelli 3D addestrati sulle immagini LR. I risultati sperimentali mostrano che gli algoritmi sorprendentemente semplici possono raggiungere i risultati all'avanguardia dei compiti di super-risoluzione 3D su set di dati di benchmark standard, come i dataset NeRF-sintetico e MipNeRF-360. Pagina del progetto: https://ko-lani.github.io/Sequence-Matters

English

3D super-resolution aims to reconstruct high-fidelity 3D models from low-resolution (LR) multi-view images. Early studies primarily focused on single-image super-resolution (SISR) models to upsample LR images into high-resolution images. However, these methods often lack view consistency because they operate independently on each image. Although various post-processing techniques have been extensively explored to mitigate these inconsistencies, they have yet to fully resolve the issues. In this paper, we perform a comprehensive study of 3D super-resolution by leveraging video super-resolution (VSR) models. By utilizing VSR models, we ensure a higher degree of spatial consistency and can reference surrounding spatial information, leading to more accurate and detailed reconstructions. Our findings reveal that VSR models can perform remarkably well even on sequences that lack precise spatial alignment. Given this observation, we propose a simple yet practical approach to align LR images without involving fine-tuning or generating 'smooth' trajectory from the trained 3D models over LR images. The experimental results show that the surprisingly simple algorithms can achieve the state-of-the-art results of 3D super-resolution tasks on standard benchmark datasets, such as the NeRF-synthetic and MipNeRF-360 datasets. Project page: https://ko-lani.github.io/Sequence-Matters