Digging into Depth Priors for Outdoor Neural Radiance Fields

要約

Neural Radiance Fields (NeRF) は、新しいビューの合成や没入型現実など、ビジョンおよびグラフィックスのタスクにおいて優れたパフォーマンスを実証しています。
ただし、特に視点がまばらな設定では、放射フィールドの形状と放射のあいまいさが依然として課題となっています。
最近の研究では、この問題を軽減するために、深度事前分布を屋外の NeRF トレーニングに統合することに取り組んでいます。
ただし、深度事前分布を選択するための基準と、さまざまな事前分布の相対的なメリットについては、十分に調査されていません。
さらに、深度事前分布を使用するためにさまざまなアプローチを選択することの相対的なメリットも未解明な問題です。
この論文では、一般的な深度センシング技術とほとんどの応用方法をカバーし、屋外の神経放射フィールドに先立って深度を利用することについての包括的な研究と評価を提供します。
具体的には、広く使用されている 2 つの屋外データセットに対して、一般的に使用される 4 つの深度事前分布と異なる深度の使用法を備えた 2 つの代表的な NeRF 手法を使用して広範な実験を実施します。
私たちの実験結果は、深度事前分布を使用して NeRF モデルをトレーニングする際に実践者や研究者に潜在的に有益な可能性のあるいくつかの興味深い発見を明らかにしました。
プロジェクトページ: https://cwchenwang.github.io/outdoor-nerf- Depth

要約(オリジナル)

Neural Radiance Fields (NeRF) have demonstrated impressive performance in vision and graphics tasks, such as novel view synthesis and immersive reality. However, the shape-radiance ambiguity of radiance fields remains a challenge, especially in the sparse viewpoints setting. Recent work resorts to integrating depth priors into outdoor NeRF training to alleviate the issue. However, the criteria for selecting depth priors and the relative merits of different priors have not been thoroughly investigated. Moreover, the relative merits of selecting different approaches to use the depth priors is also an unexplored problem. In this paper, we provide a comprehensive study and evaluation of employing depth priors to outdoor neural radiance fields, covering common depth sensing technologies and most application ways. Specifically, we conduct extensive experiments with two representative NeRF methods equipped with four commonly-used depth priors and different depth usages on two widely used outdoor datasets. Our experimental results reveal several interesting findings that can potentially benefit practitioners and researchers in training their NeRF models with depth priors. Project Page: https://cwchenwang.github.io/outdoor-nerf-depth

arxiv情報

提供元, 利用サービス

arxiv.jp, Google