Non-uniform Sampling Strategies for NeRF on 360{\textdegree} images

要約

近年、ニューラル ラディアンス フィールド (NeRF) の出現により、透視画像を使用した新しいビュー合成のパフォーマンスが劇的に向上しました。
この研究では、360{\textdegree} 全方向画像の NeRF を効果的に構築する 2 つの新しい手法を提案します。
ERP 形式の 360{\textdegree} 画像は、高緯度領域に空間的な歪みがあり、360{\textdegree} の広い視野角があるため、NeRF の一般的なレイ サンプリング戦略は効果的ではありません。
したがって、NeRF のビュー合成精度には限界があり、学習は効率的ではありません。
NeRF が 360{\textdegree} 画像に適合するように、2 つの不均一なレイ サンプリング スキームを提案します。
屋内シーンと屋外シーンの Replica モデルと SceneCity モデルをそれぞれ使用して、評価データセット Synth360 を作成しました。
実験では、私たちの提案が精度と効率の両面で 360{\textdegree} 画像 NeRF の構築に成功したことを示しています。
この提案は、NeRF の高度なバリアントに広く適用できます。
提案された手法と組み合わせた DietNeRF、AugNeRF、および NeRF++ により、パフォーマンスがさらに向上します。
さらに、提案した方法が 360{\textdegree} 画像の現実世界のシーンの品質を向上させることを示します。
Synth360: https://drive.google.com/drive/folders/1suL9B7DO2no21ggiIHkH3JF3OecasQLb.

要約(オリジナル)

In recent years, the performance of novel view synthesis using perspective images has dramatically improved with the advent of neural radiance fields (NeRF). This study proposes two novel techniques that effectively build NeRF for 360{\textdegree} omnidirectional images. Due to the characteristics of a 360{\textdegree} image of ERP format that has spatial distortion in their high latitude regions and a 360{\textdegree} wide viewing angle, NeRF’s general ray sampling strategy is ineffective. Hence, the view synthesis accuracy of NeRF is limited and learning is not efficient. We propose two non-uniform ray sampling schemes for NeRF to suit 360{\textdegree} images – distortion-aware ray sampling and content-aware ray sampling. We created an evaluation dataset Synth360 using Replica and SceneCity models of indoor and outdoor scenes, respectively. In experiments, we show that our proposal successfully builds 360{\textdegree} image NeRF in terms of both accuracy and efficiency. The proposal is widely applicable to advanced variants of NeRF. DietNeRF, AugNeRF, and NeRF++ combined with the proposed techniques further improve the performance. Moreover, we show that our proposed method enhances the quality of real-world scenes in 360{\textdegree} images. Synth360: https://drive.google.com/drive/folders/1suL9B7DO2no21ggiIHkH3JF3OecasQLb.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google