FG-NeRF: Flow-GAN based Probabilistic Neural Radiance Field for Independence-Assumption-Free Uncertainty Estimation

要約

確率性を備えた神経放射輝度フィールドは、妥当な放射輝度フィールドのサンプリングを可能にし、下流のタスクの不確実性を定量化できるため、大きな関心を集めています。
既存の研究は、確率密度関数の扱いやすい形式を取得するために、放射輝度フィールド内の点または入力ビュー内のピクセルの独立性の仮定に依存しています。
ただし、この仮定は、複雑なジオメトリやテクスチャを扱うときに、誤ってパフォーマンスに影響を与えます。
この研究では、Flow-GAN に基づいた独立性仮定のない確率的神経放射場を提案します。
敵対的学習の生成能力と正規化フローの強力な表現力を組み合わせることで、私たちの方法はシーン全体の密度と放射輝度の分布を明示的にモデル化します。
確率的 NeRF を平均シフトされた確率的残差ニューラル モデルとして表します。
私たちのモデルは明示的な尤度関数を使用せずにトレーニングされるため、独立性の仮定が回避されます。
具体的には、異なるストライドと中心を持つトレーニング画像をダウンサンプリングして、パッチベースの敵対的学習でジェネレーターをトレーニングするために使用される固定サイズのパッチを形成します。
広範な実験を通じて、私たちの手法は、合成データセットと現実世界のデータセットの両方でレンダリング エラーの低減と信頼性の高い不確実性を予測することで、最先端のパフォーマンスを実証します。

要約(オリジナル)

Neural radiance fields with stochasticity have garnered significant interest by enabling the sampling of plausible radiance fields and quantifying uncertainty for downstream tasks. Existing works rely on the independence assumption of points in the radiance field or the pixels in input views to obtain tractable forms of the probability density function. However, this assumption inadvertently impacts performance when dealing with intricate geometry and texture. In this work, we propose an independence-assumption-free probabilistic neural radiance field based on Flow-GAN. By combining the generative capability of adversarial learning and the powerful expressivity of normalizing flow, our method explicitly models the density-radiance distribution of the whole scene. We represent our probabilistic NeRF as a mean-shifted probabilistic residual neural model. Our model is trained without an explicit likelihood function, thereby avoiding the independence assumption. Specifically, We downsample the training images with different strides and centers to form fixed-size patches which are used to train the generator with patch-based adversarial learning. Through extensive experiments, our method demonstrates state-of-the-art performance by predicting lower rendering errors and more reliable uncertainty on both synthetic and real-world datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google