FrugalNeRF : Convergence Rapide pour la Synthèse de Nouvelles Vues en Quelques Étapes sans A priori Appris

FrugalNeRF: Fast Convergence for Few-shot Novel View Synthesis without Learned Priors

October 21, 2024

Auteurs: Chin-Yang Lin, Chung-Ho Wu, Chang-Han Yeh, Shih-Han Yen, Cheng Sun, Yu-Lun Liu

cs.AI

Résumé

Les champs de radiance neurale (NeRF) rencontrent des défis importants dans les scénarios à faible tirage, principalement en raison du surajustement et des longs temps d'entraînement pour un rendu haute fidélité. Les méthodes existantes, telles que FreeNeRF et SparseNeRF, utilisent une régularisation de fréquence ou des a priori pré-entraînés mais rencontrent des difficultés avec une planification complexe et un biais. Nous présentons FrugalNeRF, un nouveau cadre NeRF à faible tirage qui exploite le partage de poids des voxels à travers plusieurs échelles pour représenter efficacement les détails de la scène. Notre contribution clé est un schéma d'adaptation géométrique inter-échelles qui sélectionne une profondeur pseudo-vérité terrain basée sur les erreurs de reprojection à travers les échelles. Cela guide l'entraînement sans dépendre de a priori appris externement, permettant une utilisation complète des données d'entraînement. Il peut également intégrer des a priori pré-entraînés, améliorant la qualité sans ralentir la convergence. Les expériences sur LLFF, DTU et RealEstate-10K montrent que FrugalNeRF surpasse les autres méthodes NeRF à faible tirage tout en réduisant significativement le temps d'entraînement, en faisant une solution pratique pour une reconstruction de scène 3D efficace et précise.

English

Neural Radiance Fields (NeRF) face significant challenges in few-shot scenarios, primarily due to overfitting and long training times for high-fidelity rendering. Existing methods, such as FreeNeRF and SparseNeRF, use frequency regularization or pre-trained priors but struggle with complex scheduling and bias. We introduce FrugalNeRF, a novel few-shot NeRF framework that leverages weight-sharing voxels across multiple scales to efficiently represent scene details. Our key contribution is a cross-scale geometric adaptation scheme that selects pseudo ground truth depth based on reprojection errors across scales. This guides training without relying on externally learned priors, enabling full utilization of the training data. It can also integrate pre-trained priors, enhancing quality without slowing convergence. Experiments on LLFF, DTU, and RealEstate-10K show that FrugalNeRF outperforms other few-shot NeRF methods while significantly reducing training time, making it a practical solution for efficient and accurate 3D scene reconstruction.