S-TREK: Sequential Translation and Rotation Equivariant Keypoints for local feature extraction

要約

この研究では、設計により平行移動と回転の両方が等価である深いキーポイント検出器と軽量の深い記述子抽出器を組み合わせた新しい局所特徴抽出器である S-TREK を紹介します。
私たちは、強化学習にヒントを得たフレームワーク内で S-TREK キーポイント検出器をトレーニングします。そこでは、キーポイントの再現性に直接関係する報酬を最大化するためにシーケンシャルな手順を活用します。
私たちの記述子ネットワークは、「検出してから記述する」アプローチに従ってトレーニングされます。このアプローチでは、記述子の損失は、すでにトレーニング済みの検出器によってキーポイントが選択されている場所でのみ評価されます。
複数のベンチマークでの広範な実験により、私たちが提案した手法の有効性が確認されており、特に面内回転を扱う場合、S-TREK は復元されたポーズの再現性と品質の点で他の最先端の手法よりも優れていることがよくあります。

要約(オリジナル)

In this work we introduce S-TREK, a novel local feature extractor that combines a deep keypoint detector, which is both translation and rotation equivariant by design, with a lightweight deep descriptor extractor. We train the S-TREK keypoint detector within a framework inspired by reinforcement learning, where we leverage a sequential procedure to maximize a reward directly related to keypoint repeatability. Our descriptor network is trained following a ‘detect, then describe’ approach, where the descriptor loss is evaluated only at those locations where keypoints have been selected by the already trained detector. Extensive experiments on multiple benchmarks confirm the effectiveness of our proposed method, with S-TREK often outperforming other state-of-the-art methods in terms of repeatability and quality of the recovered poses, especially when dealing with in-plane rotations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google