D2S: Representing local descriptors and global scene coordinates for camera relocalization

要約

最先端の視覚的位置特定手法は、主に、ローカル記述子と 3D 点群を照合するための複雑な手順に依存しています。
ただし、これらの手順では、時間の経過とともに、推論、保存、更新の点で多大なコストが発生する可能性があります。
この研究では、D2S という名前の単純なネットワークを利用してローカル記述子とそのシーン座標を表す直接学習ベースのアプローチを提案します。
私たちの方法は、そのシンプルさと費用対効果の高さが特徴です。
テスト段階ではローカリゼーションに単一の RGB 画像のみを利用し、複雑なまばらなシーンをエンコードするための軽量モデルのみが必要です。
提案された D2S は、単純な損失関数とグラフ アテンションの組み合わせを採用し、雲、木、いくつかの動的オブジェクトなどの領域を無視しながら、堅牢な記述子に選択的に焦点を当てます。
この選択的な注意により、D2S はスパース記述子のバイナリセマンティック分類を効果的に実行できるようになります。
さらに、シーンの一般化とラベルのない観察からの自己更新の観点から、視覚的位置特定手法の機能を評価するための新しい屋外データセットを提案します。
私たちのアプローチは、屋内および屋外環境におけるシーン座標回帰において、最先端の CNN ベースの手法を上回ります。
これは、ラベル付きデータ ソースがない場合でも、昼から夜への移行やドメインの変化への適応を伴うシナリオなど、トレーニング データを超えて一般化できる機能を示しています。
ソースコード、トレーニング済みモデル、データセット、デモビデオは次のリンクから入手できます: https://thpjp.github.io/d2s

要約(オリジナル)

State-of-the-art visual localization methods mostly rely on complex procedures to match local descriptors and 3D point clouds. However, these procedures can incur significant cost in terms of inference, storage, and updates over time. In this study, we propose a direct learning-based approach that utilizes a simple network named D2S to represent local descriptors and their scene coordinates. Our method is characterized by its simplicity and cost-effectiveness. It solely leverages a single RGB image for localization during the testing phase and only requires a lightweight model to encode a complex sparse scene. The proposed D2S employs a combination of a simple loss function and graph attention to selectively focus on robust descriptors while disregarding areas such as clouds, trees, and several dynamic objects. This selective attention enables D2S to effectively perform a binary-semantic classification for sparse descriptors. Additionally, we propose a new outdoor dataset to evaluate the capabilities of visual localization methods in terms of scene generalization and self-updating from unlabeled observations. Our approach outperforms the state-of-the-art CNN-based methods in scene coordinate regression in indoor and outdoor environments. It demonstrates the ability to generalize beyond training data, including scenarios involving transitions from day to night and adapting to domain shifts, even in the absence of the labeled data sources. The source code, trained models, dataset, and demo videos are available at the following link: https://thpjp.github.io/d2s

arxiv情報

提供元, 利用サービス

arxiv.jp, Google