FrugalNeRF: Snelle Convergentie voor Novel View Synthese met Weining Gegevens zonder Aangeleerde Priors

FrugalNeRF: Fast Convergence for Few-shot Novel View Synthesis without Learned Priors

October 21, 2024

Auteurs: Chin-Yang Lin, Chung-Ho Wu, Chang-Han Yeh, Shih-Han Yen, Cheng Sun, Yu-Lun Liu

cs.AI

Samenvatting

Neurale Radiantievelden (NeRF) worden geconfronteerd met aanzienlijke uitdagingen in few-shot scenario's, voornamelijk vanwege overfitting en lange trainingsduur voor hoogwaardige rendering. Bestaande methoden, zoals FreeNeRF en SparseNeRF, maken gebruik van frequentieregularisatie of vooraf getrainde priori's, maar hebben moeite met complexe planning en vooringenomenheid. We introduceren FrugalNeRF, een nieuw few-shot NeRF-framework dat gewicht-delen voxels over meerdere schalen benut om scènedetails efficiënt weer te geven. Onze belangrijkste bijdrage is een cross-scale geometrisch aanpassingsschema dat pseudo grondwaarhedendiepte selecteert op basis van reprojection fouten over schalen. Dit stuurt de training aan zonder te vertrouwen op extern geleerde priori's, waardoor volledig gebruik wordt gemaakt van de trainingsgegevens. Het kan ook vooraf getrainde priori's integreren, de kwaliteit verbeteren zonder de convergentie te vertragen. Experimenten op LLFF, DTU en RealEstate-10K tonen aan dat FrugalNeRF andere few-shot NeRF-methoden overtreft terwijl de trainingsduur aanzienlijk wordt verkort, waardoor het een praktische oplossing is voor efficiënte en nauwkeurige 3D-scène reconstructie.

English

Neural Radiance Fields (NeRF) face significant challenges in few-shot scenarios, primarily due to overfitting and long training times for high-fidelity rendering. Existing methods, such as FreeNeRF and SparseNeRF, use frequency regularization or pre-trained priors but struggle with complex scheduling and bias. We introduce FrugalNeRF, a novel few-shot NeRF framework that leverages weight-sharing voxels across multiple scales to efficiently represent scene details. Our key contribution is a cross-scale geometric adaptation scheme that selects pseudo ground truth depth based on reprojection errors across scales. This guides training without relying on externally learned priors, enabling full utilization of the training data. It can also integrate pre-trained priors, enhancing quality without slowing convergence. Experiments on LLFF, DTU, and RealEstate-10K show that FrugalNeRF outperforms other few-shot NeRF methods while significantly reducing training time, making it a practical solution for efficient and accurate 3D scene reconstruction.