Estimating 3D Uncertainty Field: Quantifying Uncertainty for Neural Radiance Fields

要約

Neural Radiance Fields (NeRF) に基づく現在の方法には、特に遮蔽されたシーンや外側のシーンのコンテンツを含む目に見えない空間における予測の不確実性を定量化する能力が大幅に欠けています。
この制限により、未知の環境でのロボット探査や計画などのタスクでは、モデル予測の信頼性を考慮する必要があるロボット工学における広範な応用が妨げられます。
これに対処するために、学習した不完全なシーンのジオメトリに基づいて 3D 不確実性フィールドを推定し、これらの目に見えない領域を明示的に識別する新しいアプローチを提案します。
各カメラ レイに沿った累積透過率を考慮することで、不確実性フィールドは 2D ピクセル単位の不確実性を推測し、遮蔽されたコンテンツまたはシーン コンテンツの外側に直接キャストされるレイに対して高い値を示します。
学習された表面の不確実性を定量化するために、確率的放射フィールドをモデル化します。
私たちの実験は、最近の方法と比較して、私たちのアプローチが、3Dの目に見えない領域とそれに関与する2Dレンダリングされたピクセルの両方における高い不確実性を明示的に推論できる唯一の方法であることを示しています。
さらに、私たちが設計した不確実性フィールドが、次に最適なビューの選択など、現実世界のロボット工学タスクに理想的に適していることを示します。

要約(オリジナル)

Current methods based on Neural Radiance Fields (NeRF) significantly lack the capacity to quantify uncertainty in their predictions, particularly on the unseen space including the occluded and outside scene content. This limitation hinders their extensive applications in robotics, where the reliability of model predictions has to be considered for tasks such as robotic exploration and planning in unknown environments. To address this, we propose a novel approach to estimate a 3D Uncertainty Field based on the learned incomplete scene geometry, which explicitly identifies these unseen regions. By considering the accumulated transmittance along each camera ray, our Uncertainty Field infers 2D pixel-wise uncertainty, exhibiting high values for rays directly casting towards occluded or outside the scene content. To quantify the uncertainty on the learned surface, we model a stochastic radiance field. Our experiments demonstrate that our approach is the only one that can explicitly reason about high uncertainty both on 3D unseen regions and its involved 2D rendered pixels, compared with recent methods. Furthermore, we illustrate that our designed uncertainty field is ideally suited for real-world robotics tasks, such as next-best-view selection.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google