Estimating 3D Uncertainty Field: Quantifying Uncertainty for Neural Radiance Fields

要約

神経輝度場（Neural Radiance Fields：NeRF）に基づく現在の手法は、予測における不確実性を定量化する能力を著しく欠いている。この限界は、未知の環境におけるロボットの探索やプランニングのようなタスクにおいて、モデル予測の信頼性を考慮しなければならない、ロボット工学における広範な応用の妨げとなっている。この問題に対処するために、我々は、学習された不完全なシーン形状に基づく3次元不確実性場を推定する新しいアプローチを提案する。各カメラ光線に沿った累積透過率を考慮することで、我々の不確実性フィールドは2次元ピクセル単位の不確実性を推論し、オクルードやシーンコンテンツ外に直接投射される光線に対して高い値を示す。学習された表面の不確実性を定量化するために、確率的な輝度場をモデル化する。我々の実験は、我々のアプローチが、最近の手法と比較して、3D未視認領域とそれに関連する2Dレンダリングピクセルの両方において、高い不確実性を明示的に推論できる唯一のものであることを実証する。さらに、我々の設計した不確定性場が、次善視選択などの実世界のロボット工学タスクに理想的に適していることを示す。

要約(オリジナル)

Current methods based on Neural Radiance Fields (NeRF) significantly lack the capacity to quantify uncertainty in their predictions, particularly on the unseen space including the occluded and outside scene content. This limitation hinders their extensive applications in robotics, where the reliability of model predictions has to be considered for tasks such as robotic exploration and planning in unknown environments. To address this, we propose a novel approach to estimate a 3D Uncertainty Field based on the learned incomplete scene geometry, which explicitly identifies these unseen regions. By considering the accumulated transmittance along each camera ray, our Uncertainty Field infers 2D pixel-wise uncertainty, exhibiting high values for rays directly casting towards occluded or outside the scene content. To quantify the uncertainty on the learned surface, we model a stochastic radiance field. Our experiments demonstrate that our approach is the only one that can explicitly reason about high uncertainty both on 3D unseen regions and its involved 2D rendered pixels, compared with recent methods. Furthermore, we illustrate that our designed uncertainty field is ideally suited for real-world robotics tasks, such as next-best-view selection.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL