FrugalNeRF: Fast Convergence for Few-shot Novel View Synthesis without Learned Priors

要約

ニューラル放射輝度（NERF）は、主に過剰適合と長いトレーニング時間のために、極端に少ないショットシナリオで大きな課題に直面しています。
FreenerfやSparsenerfなどの既存の方法は、周波数の正則化または事前に訓練された事前化を使用しますが、複雑なスケジューリングとバイアスに苦労しています。
Frugalnerfを紹介します。Frugalnerfは、複数のスケールで重量共有ボクセルを活用してシーンの詳細を効率的に表す新しい少数のショットNERFフレームワークです。
私たちの主な貢献は、スケール全体の再注入誤差に基づいて擬似グラウンドの真理の深さを選択するクロススケールの幾何学的適応スキームです。
これは、外部から学習した事前に頼らずにトレーニングをガイドし、トレーニングデータを完全に利用できるようにします。
また、事前に訓練されたプライアーを統合し、収束を遅くすることなく品質を向上させることができます。
LLFF、DTU、およびRealestate-10Kの実験は、Frugalnerfがトレーニング時間を大幅に短縮しながら、他の少数のショットNERFメソッドを上回ることを示しており、効率的で正確な3Dシーンの再構築のための実用的なソリューションになっています。

要約(オリジナル)

Neural Radiance Fields (NeRF) face significant challenges in extreme few-shot scenarios, primarily due to overfitting and long training times. Existing methods, such as FreeNeRF and SparseNeRF, use frequency regularization or pre-trained priors but struggle with complex scheduling and bias. We introduce FrugalNeRF, a novel few-shot NeRF framework that leverages weight-sharing voxels across multiple scales to efficiently represent scene details. Our key contribution is a cross-scale geometric adaptation scheme that selects pseudo ground truth depth based on reprojection errors across scales. This guides training without relying on externally learned priors, enabling full utilization of the training data. It can also integrate pre-trained priors, enhancing quality without slowing convergence. Experiments on LLFF, DTU, and RealEstate-10K show that FrugalNeRF outperforms other few-shot NeRF methods while significantly reducing training time, making it a practical solution for efficient and accurate 3D scene reconstruction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google