ProNeRF: Learning Efficient Projection-Aware Ray Sampling for Fine-Grained Implicit Neural Radiance Fields

要約

ニューラル レンダリングの最近の進歩により、遅いとはいえ、暗黙的なコンパクト モデルが複数のビューからシーンのジオメトリとビューに依存する外観を学習できることが示されました。
このような小さなメモリ フットプリントを維持しながら推論時間の高速化を実現するために、最近の研究では、暗黙的なニューラル放射輝度フィールドの各光線に沿って点の小さなサブセットを適応的にサンプリングする「サンプラー」ネットワークが採用されています。
これらの方法ではレンダリング時間の最大 10 倍の削減が達成されますが、それでも通常の NeRF と比較するとかなりの品質低下が発生します。
対照的に、メモリ フットプリント (NeRF と同様)、速度 (HyperReel より高速)、品質 (K-Planes よりも優れている) の間で最適なトレードオフを提供する ProNeRF を提案します。
ProNeRF には、新しい投影認識サンプリング (PAS) ネットワークと、光線探査および活用のための新しいトレーニング戦略が装備されており、効率的で粒度の細かい粒子サンプリングが可能です。
当社の ProNeRF は、NeRF よりも 15 ～ 23 倍高速で、PSNR が 0.65 dB 高く、最もよく公開されているサンプラーベースの手法である HyperReel よりも PSNR が 0.95 dB 高い、最先端のメトリクスを生成します。
私たちの探査と活用のトレーニング戦略により、ProNeRF はシーン全体の色と密度の分布を学習しながら、最も密度の高い領域に焦点を当てた効率的な光線サンプリングを学習することができます。
私たちは、広く採用されている前向きデータセットと 360 度データセット、それぞれ LLFF と Blender での方法の有効性を裏付ける広範な実験結果を提供します。

要約(オリジナル)

Recent advances in neural rendering have shown that, albeit slow, implicit compact models can learn a scene’s geometries and view-dependent appearances from multiple views. To maintain such a small memory footprint but achieve faster inference times, recent works have adopted `sampler’ networks that adaptively sample a small subset of points along each ray in the implicit neural radiance fields. Although these methods achieve up to a 10$\times$ reduction in rendering time, they still suffer from considerable quality degradation compared to the vanilla NeRF. In contrast, we propose ProNeRF, which provides an optimal trade-off between memory footprint (similar to NeRF), speed (faster than HyperReel), and quality (better than K-Planes). ProNeRF is equipped with a novel projection-aware sampling (PAS) network together with a new training strategy for ray exploration and exploitation, allowing for efficient fine-grained particle sampling. Our ProNeRF yields state-of-the-art metrics, being 15-23x faster with 0.65dB higher PSNR than NeRF and yielding 0.95dB higher PSNR than the best published sampler-based method, HyperReel. Our exploration and exploitation training strategy allows ProNeRF to learn the full scenes’ color and density distributions while also learning efficient ray sampling focused on the highest-density regions. We provide extensive experimental results that support the effectiveness of our method on the widely adopted forward-facing and 360 datasets, LLFF and Blender, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google