절약형 NeRF: 학습된 사전 지식 없이 소수샷 신규 뷰 합성을 위한 빠른 수렴

초록

Neural Radiance Fields (NeRF)는 소수샷 시나리오에서 중요한 도전에 직면하고 있는데, 이는 오버피팅과 고품질 렌더링을 위한 장기간 훈련 때문이다. 기존 방법인 FreeNeRF와 SparseNeRF는 주파수 정규화나 사전 훈련된 사전을 사용하지만 복잡한 스케줄링과 편향에 어려움을 겪고 있다. 우리는 FrugalNeRF를 소개하는데, 이는 여러 스케일에서 가중치 공유 복셀을 활용하여 효율적으로 장면 세부 정보를 표현한다. 우리의 주요 기여는 크로스-스케일 기하적 적응 스키마로, 스케일 간 재투영 오류에 기반하여 의사 실제 깊이를 선택하는 것이다. 이는 외부에서 학습된 사전에 의존하지 않고 훈련을 안내함으로써 훈련 데이터의 완전한 활용을 가능하게 한다. 또한 수렴 속도를 늦추지 않고 품질을 향상시키는 사전 훈련된 사전을 통합할 수도 있다. LLFF, DTU, RealEstate-10K에서의 실험 결과 FrugalNeRF가 다른 소수샷 NeRF 방법보다 우수한 성능을 보이며 훈련 시간을 크게 줄여 효율적이고 정확한 3D 장면 재구성에 실용적인 솔루션이 되었다.

English

Neural Radiance Fields (NeRF) face significant challenges in few-shot scenarios, primarily due to overfitting and long training times for high-fidelity rendering. Existing methods, such as FreeNeRF and SparseNeRF, use frequency regularization or pre-trained priors but struggle with complex scheduling and bias. We introduce FrugalNeRF, a novel few-shot NeRF framework that leverages weight-sharing voxels across multiple scales to efficiently represent scene details. Our key contribution is a cross-scale geometric adaptation scheme that selects pseudo ground truth depth based on reprojection errors across scales. This guides training without relying on externally learned priors, enabling full utilization of the training data. It can also integrate pre-trained priors, enhancing quality without slowing convergence. Experiments on LLFF, DTU, and RealEstate-10K show that FrugalNeRF outperforms other few-shot NeRF methods while significantly reducing training time, making it a practical solution for efficient and accurate 3D scene reconstruction.

절약형 NeRF: 학습된 사전 지식 없이 소수샷 신규 뷰 합성을 위한 빠른 수렴

FrugalNeRF: Fast Convergence for Few-shot Novel View Synthesis without Learned Priors

초록

Summary

Support