FrugalNeRF: Schnelle Konvergenz für die Synthese neuer Ansichten mit wenigen Aufnahmen ohne erlernte Vorkenntnisse

FrugalNeRF: Fast Convergence for Few-shot Novel View Synthesis without Learned Priors

October 21, 2024

Autoren: Chin-Yang Lin, Chung-Ho Wu, Chang-Han Yeh, Shih-Han Yen, Cheng Sun, Yu-Lun Liu

cs.AI

Zusammenfassung

Neuronale Strahlungsfelder (NeRF) stehen vor erheblichen Herausforderungen in wenigen Aufnahmeszenarien, hauptsächlich aufgrund von Überanpassung und langen Trainingszeiten für hochauflösendes Rendern. Bestehende Methoden wie FreeNeRF und SparseNeRF verwenden Frequenzregulierung oder vorab trainierte Prioritäten, haben jedoch Schwierigkeiten mit komplexer Planung und Verzerrung. Wir stellen FrugalNeRF vor, ein neuartiges Few-Shot-NeRF-Framework, das Gewichts teilt und Voxel über mehrere Maßstäbe hinweg nutzt, um Szenendetails effizient darzustellen. Unser Hauptbeitrag ist ein Kreisskalengeometrie-Anpassungsschema, das Pseudo-Grundwahrtiefe basierend auf Reprojektionsfehlern über Maßstäbe hinweg auswählt. Dies leitet das Training ohne externe erlernte Prioritäten und ermöglicht die vollständige Nutzung der Trainingsdaten. Es kann auch vorab trainierte Prioritäten integrieren, die Qualität verbessern, ohne die Konvergenz zu verlangsamen. Experimente mit LLFF, DTU und RealEstate-10K zeigen, dass FrugalNeRF andere Few-Shot-NeRF-Methoden übertrifft und gleichzeitig die Trainingszeit erheblich reduziert, was es zu einer praktischen Lösung für effiziente und präzise 3D-Szenenrekonstruktion macht.

English

Neural Radiance Fields (NeRF) face significant challenges in few-shot scenarios, primarily due to overfitting and long training times for high-fidelity rendering. Existing methods, such as FreeNeRF and SparseNeRF, use frequency regularization or pre-trained priors but struggle with complex scheduling and bias. We introduce FrugalNeRF, a novel few-shot NeRF framework that leverages weight-sharing voxels across multiple scales to efficiently represent scene details. Our key contribution is a cross-scale geometric adaptation scheme that selects pseudo ground truth depth based on reprojection errors across scales. This guides training without relying on externally learned priors, enabling full utilization of the training data. It can also integrate pre-trained priors, enhancing quality without slowing convergence. Experiments on LLFF, DTU, and RealEstate-10K show that FrugalNeRF outperforms other few-shot NeRF methods while significantly reducing training time, making it a practical solution for efficient and accurate 3D scene reconstruction.