Rendering stable features improves sampling-based localisation with Neural radiance fields

要約

Neural Radiance Field (NeRF) は、暗黙的なシーン表現のための強力なツールであり、微分可能なレンダリングと、これまで見えなかった視点についての予測を行う機能を可能にします。
ロボット工学の観点からは、NeRF を使用したオブジェクトおよびシーンベースの位置特定への関心が高まっており、最近の研究の多くはサンプリング ベースまたはモンテカルロ位置特定スキームに依存しています。
残念ながら、これらは計算コストが非常に高くつく可能性があり、カメラまたはオブジェクトのポーズを推測するために複数のネットワーク転送パスが必要になります。
これを軽減するために、さまざまなサンプリング戦略が適用されており、その多くは古典的なコンピューター ビジョンのキーポイント認識技術に依存しています。
この研究では、これらのアプローチの体系的な経験的比較を実施し、ジオメトリベースの位置特定に対する従来の特徴マッチングアプローチとは対照的に、NeRF を使用したサンプリングベースの位置特定は安定した特徴から大きな恩恵を受けることを示しています。
結果は、安定したフィーチャをレンダリングすると、必要な前方パスの数が 10 分の 1 に削減され、速度が大幅に向上する可能性があることを示しています。

要約(オリジナル)

Neural radiance fields (NeRFs) are a powerful tool for implicit scene representations, allowing for differentiable rendering and the ability to make predictions about previously unseen viewpoints. From a robotics perspective, there has been growing interest in object and scene-based localisation using NeRFs, with a number of recent works relying on sampling-based or Monte-Carlo localisation schemes. Unfortunately, these can be extremely computationally expensive, requiring multiple network forward passes to infer camera or object pose. To alleviate this, a variety of sampling strategies have been applied, many relying on keypoint recognition techniques from classical computer vision. This work conducts a systematic empirical comparison of these approaches and shows that in contrast to conventional feature matching approaches for geometry-based localisation, sampling-based localisation using NeRFs benefits significantly from stable features. Results show that rendering stable features can result in a tenfold reduction in the number of forward passes required, a significant speed improvement.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google