シーケンスの順序は重要です：3Dスーパーレゾリューションでのビデオモデルの活用

Sequence Matters: Harnessing Video Models in 3D Super-Resolution

December 16, 2024

著者: Hyun-kyu Ko, Dongheok Park, Youngin Park, Byeonghyeon Lee, Juhee Han, Eunbyung Park

cs.AI

要旨

3Dスーパーレゾリューションは、低解像度（LR）のマルチビュー画像から高忠実度の3Dモデルを再構築することを目指しています。初期の研究は、LR画像を高解像度画像にアップサンプリングするための単一画像スーパーレゾリューション（SISR）モデルに主に焦点を当てていました。しかし、これらの手法は各画像に独立して操作するため、視点の一貫性が欠けることがしばしばあります。これらの不一致を緩和するためにさまざまな事後処理技術が広く研究されてきましたが、これらの問題を完全に解決するには至っていません。本論文では、ビデオスーパーレゾリューション（VSR）モデルを活用することで、3Dスーパーレゾリューションの包括的な研究を行います。VSRモデルを利用することで、より高い空間的一貫性が確保され、周囲の空間情報を参照することができ、より正確で詳細な再構築が可能となります。私たちの調査結果は、VSRモデルが、正確な空間的整列を欠いたシーケンスでも非常に優れた性能を発揮できることを示しています。この観察から、微調整やLR画像上で訓練された3Dモデルから「滑らかな」軌道を生成することなしに、LR画像を整列させるための簡単で実用的なアプローチを提案します。実験結果は、驚くほどシンプルなアルゴリズムが、NeRF-syntheticやMipNeRF-360などの標準ベンチマークデータセットにおいて、3Dスーパーレゾリューションタスクの最先端の結果を達成できることを示しています。プロジェクトページ: https://ko-lani.github.io/Sequence-Matters

English

3D super-resolution aims to reconstruct high-fidelity 3D models from low-resolution (LR) multi-view images. Early studies primarily focused on single-image super-resolution (SISR) models to upsample LR images into high-resolution images. However, these methods often lack view consistency because they operate independently on each image. Although various post-processing techniques have been extensively explored to mitigate these inconsistencies, they have yet to fully resolve the issues. In this paper, we perform a comprehensive study of 3D super-resolution by leveraging video super-resolution (VSR) models. By utilizing VSR models, we ensure a higher degree of spatial consistency and can reference surrounding spatial information, leading to more accurate and detailed reconstructions. Our findings reveal that VSR models can perform remarkably well even on sequences that lack precise spatial alignment. Given this observation, we propose a simple yet practical approach to align LR images without involving fine-tuning or generating 'smooth' trajectory from the trained 3D models over LR images. The experimental results show that the surprisingly simple algorithms can achieve the state-of-the-art results of 3D super-resolution tasks on standard benchmark datasets, such as the NeRF-synthetic and MipNeRF-360 datasets. Project page: https://ko-lani.github.io/Sequence-Matters