FisherRF: Active View Selection and Uncertainty Quantification for Radiance Fields using Fisher Information

要約

この研究は、放射フィールドの領域内でのアクティブなビューの選択と不確実性の定量化という困難な問題に取り組んでいます。
Neural Radiance Fields (NeRF) は画像のレンダリングと再構成を大幅に進歩させましたが、利用できる 2D 画像が限られているため、オクルージョン、深度のあいまいさ、画像エラーに起因する不確実性が生じています。
有益なビューを効率的に選択することが重要となり、NeRF モデルの不確実性を定量化することは複雑な課題を伴います。
既存のアプローチは、モデル アーキテクチャに依存するか、一般には適用できない密度分布に関する仮定に基づいています。
フィッシャー情報を活用することで、グラウンド トゥルース データを使用せずに、ラディアンス フィールド内で観察された情報を効率的に定量化します。
これは、次に最適なビューの選択とピクセル単位の不確実性の定量化に使用できます。
私たちの方法は、モデルのアーキテクチャと有効性に関する既存の制限を克服し、ビューの選択と不確実性の定量化の両方で最先端の結果を達成し、ラディアンス フィールドの分野を前進させる可能性を示しています。
3D ガウス スプラッティング バックエンドを使用した方法では、70 fps でビュー選択を実行できました。

要約(オリジナル)

This study addresses the challenging problem of active view selection and uncertainty quantification within the domain of Radiance Fields. Neural Radiance Fields (NeRF) have greatly advanced image rendering and reconstruction, but the limited availability of 2D images poses uncertainties stemming from occlusions, depth ambiguities, and imaging errors. Efficiently selecting informative views becomes crucial, and quantifying NeRF model uncertainty presents intricate challenges. Existing approaches either depend on model architecture or are based on assumptions regarding density distributions that are not generally applicable. By leveraging Fisher Information, we efficiently quantify observed information within Radiance Fields without ground truth data. This can be used for the next best view selection and pixel-wise uncertainty quantification. Our method overcomes existing limitations on model architecture and effectiveness, achieving state-of-the-art results in both view selection and uncertainty quantification, demonstrating its potential to advance the field of Radiance Fields. Our method with the 3D Gaussian Splatting backend could perform view selections at 70 fps.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google