FrugalNeRF: Fast Convergence for Few-shot Novel View Synthesis without Learned Priors

要約

Neural Radiance Fields (NeRF) は、主に高忠実度レンダリングのためのオーバーフィッティングと長いトレーニング時間により、ショット数が少ないシナリオで重大な課題に直面しています。
FreeNeRF や SparseNeRF などの既存の方法は、周波数正則化または事前トレーニングされた事前分布を使用しますが、複雑なスケジューリングとバイアスに苦労します。
複数のスケールにわたる重み共有ボクセルを活用してシーンの詳細を効率的に表現する、新しい少数ショット NeRF フレームワークである FrugalNeRF を紹介します。
私たちの主な貢献は、スケール間の再投影誤差に基づいて疑似グラウンド トゥルース深度を選択するクロススケール幾何学適応スキームです。
これにより、外部から学習された事前分布に依存せずにトレーニングが誘導され、トレーニング データを最大限に活用できます。
また、事前トレーニングされた事前分布を統合して、収束を遅らせることなく品質を向上させることもできます。
LLFF、DTU、および RealEstate-10K での実験では、FrugalNeRF が他の少数ショット NeRF 手法よりも優れたパフォーマンスを示し、トレーニング時間を大幅に短縮し、効率的かつ正確な 3D シーン再構築のための実用的なソリューションとなることが示されています。

要約(オリジナル)

Neural Radiance Fields (NeRF) face significant challenges in few-shot scenarios, primarily due to overfitting and long training times for high-fidelity rendering. Existing methods, such as FreeNeRF and SparseNeRF, use frequency regularization or pre-trained priors but struggle with complex scheduling and bias. We introduce FrugalNeRF, a novel few-shot NeRF framework that leverages weight-sharing voxels across multiple scales to efficiently represent scene details. Our key contribution is a cross-scale geometric adaptation scheme that selects pseudo ground truth depth based on reprojection errors across scales. This guides training without relying on externally learned priors, enabling full utilization of the training data. It can also integrate pre-trained priors, enhancing quality without slowing convergence. Experiments on LLFF, DTU, and RealEstate-10K show that FrugalNeRF outperforms other few-shot NeRF methods while significantly reducing training time, making it a practical solution for efficient and accurate 3D scene reconstruction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google