PNeRF: Probabilistic Neural Scene Representations for Uncertain 3D Visual Mapping

要約

最近、ニューラル シーン表現は 3D シーンを視覚的に表現するための非常に印象的な結果をもたらしましたが、その研究と進歩は主に、コンピューター グラフィックスでの仮想モデルの視覚化またはコンピューター ビジョンでのシーン再構成に限定されており、センサーとポーズの不確実性を明示的に考慮していません。
ただし、ロボット工学のアプリケーションでこの新しいシーン表現を使用するには、ニューラル マップでこの不確実性を考慮する必要があります。
したがって、この論文の目的は、ロボット工学アプリケーションにこれらの表現を含めることを可能にする、不確かなトレーニング データを使用して {\em 確率論的ニューラル シーン表現} をトレーニングするための新しい方法を提案することです。
カメラや深度センサーを使用した画像の取得には固有の不確実性が含まれており、さらに、3D モデルの学習に使用されるカメラのポーズも不完全です。
これらの測定値が不確実性を考慮せずにトレーニングに使用される場合、結果のモデルは最適ではなく、結果のシーン表現には、ぼかしや不均一なジオメトリなどのアーティファクトが含まれる可能性があります。
この作業では、学習プロセスへの不確実性の統合の問題は、確率論的な方法で不確実な情報を使用したトレーニングに焦点を当てることによって調査されます。
提案された方法は、ネットワークの学習された確率分布がトレーニングの不確実性に関して最小化されるように、トレーニングの可能性を不確実性の項で明示的に増強することを含みます。
これにより、より正確で一貫したジオメトリに加えて、より正確な画像レンダリング品質が得られることが示されます。
検証は、提案されたアプローチが最先端の方法よりも優れていることを示す合成データセットと実際のデータセットの両方で実行されました。
結果は、トレーニング データが限られている場合でも、提案された方法が新しい高品質のビューをレンダリングできることを特に示しています。

要約(オリジナル)

Recently neural scene representations have provided very impressive results for representing 3D scenes visually, however, their study and progress have mainly been limited to visualization of virtual models in computer graphics or scene reconstruction in computer vision without explicitly accounting for sensor and pose uncertainty. Using this novel scene representation in robotics applications, however, would require accounting for this uncertainty in the neural map. The aim of this paper is therefore to propose a novel method for training {\em probabilistic neural scene representations} with uncertain training data that could enable the inclusion of these representations in robotics applications. Acquiring images using cameras or depth sensors contains inherent uncertainty, and furthermore, the camera poses used for learning a 3D model are also imperfect. If these measurements are used for training without accounting for their uncertainty, then the resulting models are non-optimal, and the resulting scene representations are likely to contain artifacts such as blur and un-even geometry. In this work, the problem of uncertainty integration to the learning process is investigated by focusing on training with uncertain information in a probabilistic manner. The proposed method involves explicitly augmenting the training likelihood with an uncertainty term such that the learnt probability distribution of the network is minimized with respect to the training uncertainty. It will be shown that this leads to more accurate image rendering quality, in addition to more precise and consistent geometry. Validation has been carried out on both synthetic and real datasets showing that the proposed approach outperforms state-of-the-art methods. The results show notably that the proposed method is capable of rendering novel high-quality views even when the training data is limited.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google