Leveraging Neural Radiance Fields for Uncertainty-Aware Visual Localization

要約

視覚的な位置特定のための有望な手法として、シーン座標回帰 (SCR) は過去 10 年間で大きな進歩を遂げました。
最近の手法では通常、画像ピクセルから 3D シーン座標へのマッピングを学習するためにニューラル ネットワークが採用されており、これには膨大な量の注釈付きトレーニング データが必要です。
Neural Radiance Fields (NeRF) を活用して SCR のトレーニング サンプルを生成することを提案します。
NeRF のレンダリング効率にもかかわらず、レンダリングされたデータの多くはアーティファクトによって汚染されているか、最小限の情報しか含まれていないため、回帰精度が妨げられたり、冗長データによる不必要な計算コストが発生したりする可能性があります。
この論文では、これらの課題を 3 つの要素で扱います。 (1) NeRF は、レンダリングされたカラー画像と深度画像の不確実性を個別に予測するように設計されており、ピクセル レベルでのデータの信頼性が明らかになります。
(2) SCR は認識論的不確実性を伴う深層証拠学習として定式化され、情報利得とシーン座標の品質を評価するために使用されます。
(3) 不確実性の 3 つの技術に基づいて、データ効率を大幅に向上させる新しいビュー選択ポリシーが形成されます。
公開データセットでの実験により、私たちの方法が最大の情報獲得をもたらし、最高の効率でパフォーマンスを促進するサンプルを選択できることが実証されました。

要約(オリジナル)

As a promising fashion for visual localization, scene coordinate regression (SCR) has seen tremendous progress in the past decade. Most recent methods usually adopt neural networks to learn the mapping from image pixels to 3D scene coordinates, which requires a vast amount of annotated training data. We propose to leverage Neural Radiance Fields (NeRF) to generate training samples for SCR. Despite NeRF’s efficiency in rendering, many of the rendered data are polluted by artifacts or only contain minimal information gain, which can hinder the regression accuracy or bring unnecessary computational costs with redundant data. These challenges are addressed in three folds in this paper: (1) A NeRF is designed to separately predict uncertainties for the rendered color and depth images, which reveal data reliability at the pixel level. (2) SCR is formulated as deep evidential learning with epistemic uncertainty, which is used to evaluate information gain and scene coordinate quality. (3) Based on the three arts of uncertainties, a novel view selection policy is formed that significantly improves data efficiency. Experiments on public datasets demonstrate that our method could select the samples that bring the most information gain and promote the performance with the highest efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google