Shi-NeSS: Detecting Good and Stable Keypoints with a Neural Stability Score

要約

特徴点検出器の学習には、キーポイントの定義の曖昧さと、それに応じてそのようなポイントに対して特別に準備されたグラウンド トゥルース ラベルの必要性の両方による課題が伴います。
私たちの研究では、手作りの Shi 検出器とニューラル ネットワークを組み合わせて利用することで、これらの問題の両方に対処しています。
Shi 検出器によって提供される原理的で局所的なキーポイントに基づいて構築され、ニューラル ネットワークによって回帰されたキーポイント安定性スコア (Neural Stability Score (NeSS)) を使用してキーポイントの選択を実行します。
したがって、私たちの方法は Shi 検出器とキーポイント安定性スコアの特性を組み合わせており、データセットの事前ラベル付けや再構成された対応ラベルの必要がなく、画像のトレーニング セットのみを必要とするため、Shi-NeSS と名付けられました。
HPatches、ScanNet、MegaDepth、および IMC-PT で Shi-NeSS を評価し、下流タスクでの最先端のパフォーマンスと優れた一般化を実証します。

要約(オリジナル)

Learning a feature point detector presents a challenge both due to the ambiguity of the definition of a keypoint and correspondingly the need for a specially prepared ground truth labels for such points. In our work, we address both of these issues by utilizing a combination of a hand-crafted Shi detector and a neural network. We build on the principled and localized keypoints provided by the Shi detector and perform their selection using the keypoint stability score regressed by the neural network – Neural Stability Score (NeSS). Therefore, our method is named Shi-NeSS since it combines the Shi detector and the properties of the keypoint stability score, and it only requires for training sets of images without dataset pre-labeling or the need for reconstructed correspondence labels. We evaluate Shi-NeSS on HPatches, ScanNet, MegaDepth and IMC-PT, demonstrating state-of-the-art performance and good generalization on downstream tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google