FeatureBooster: Boosting Feature Descriptors with a Lightweight Neural Network

要約

同じ画像内のキーポイントの記述子を改善する軽量ネットワークを導入します。
ネットワークは、元の記述子とキーポイントの幾何学的特性を入力として受け取り、MLP ベースの自己ブースティング ステージと Transformer ベースのクロス ブースティング ステージを使用して記述子を拡張します。
ブーストされた記述子は、実数値またはバイナリのいずれかです。
提案されたネットワークを使用して、手作り (ORB、SIFT) と最先端の学習ベースの記述子 (SuperPoint、ALIKE) の両方を強化し、画像マッチング、視覚的位置特定、構造からの動きでそれらを評価します。
タスク。
結果は、特に大きな照明の変化や反復パターンなどの困難なケースで、私たちの方法が各タスクのパフォーマンスを大幅に改善することを示しています。
私たちの方法では、2000 個の機能を処理するためにデスクトップ GPU で 3.2 ミリ秒、組み込み GPU で 27 ミリ秒しか必要とせず、これは実用的なシステムに適用するのに十分な速さです。
コードとトレーニング済みの重みは、github.com/SJTU-ViSYS/FeatureBooster で公開されています。

要約(オリジナル)

We introduce a lightweight network to improve descriptors of keypoints within the same image. The network takes the original descriptors and the geometric properties of keypoints as the input, and uses an MLP-based self-boosting stage and a Transformer-based cross-boosting stage to enhance the descriptors. The boosted descriptors can be either real-valued or binary ones. We use the proposed network to boost both hand-crafted (ORB, SIFT) and the state-of-the-art learning-based descriptors (SuperPoint, ALIKE) and evaluate them on image matching, visual localization, and structure-from-motion tasks. The results show that our method significantly improves the performance of each task, particularly in challenging cases such as large illumination changes or repetitive patterns. Our method requires only 3.2ms on desktop GPU and 27ms on embedded GPU to process 2000 features, which is fast enough to be applied to a practical system. The code and trained weights are publicly available at github.com/SJTU-ViSYS/FeatureBooster.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google