MD-Net: Multi-Detector for Local Feature Extraction

要約

画像間のキーポイント相関の疎なセットを確立することは，多くのコンピュータビジョンパイプラインにおける基本的なタスクです．多くの場合，これは計算量の多い最近傍探索に変換され，ある画像の全てのキーポイント記述子を，他の画像の全ての記述子と比較する必要がある．そこで，マッチングにかかる計算量を削減するために，各画像において予め定義された数のキーポイントの補完集合を検出することができる深い特徴抽出ネットワークを提案する．同じ集合に含まれる記述子のみを異なる画像間で比較する必要があるため，マッチング段階の計算量は集合の数に応じて減少する．我々は，キーポイントを予測し，それに対応するディスクリプタを共同で計算するようにネットワークを学習します．特に，キーポイントの相補的なセットを学習するために，異なるセット間の交差にペナルティを与える教師なし損失を導入する．さらに，非識別的な記述子を用いたキーポイントの検出にペナルティを与えることを目的とした，新しい記述子ベースの重み付けスキームを提案する．この特徴抽出ネットワークは、完全に教師無しで、合成的に歪んだ画像に対してのみ学習させ、3D再構成と再局在化タスクにおいて、少ないマッチング複雑度で競争力のある結果を達成することを、広範な実験によって示す。

要約(オリジナル)

Establishing a sparse set of keypoint correspon dences between images is a fundamental task in many computer vision pipelines. Often, this translates into a computationally expensive nearest neighbor search, where every keypoint descriptor at one image must be compared with all the descriptors at the others. In order to lower the computational cost of the matching phase, we propose a deep feature extraction network capable of detecting a predefined number of complementary sets of keypoints at each image. Since only the descriptors within the same set need to be compared across the different images, the matching phase computational complexity decreases with the number of sets. We train our network to predict the keypoints and compute the corresponding descriptors jointly. In particular, in order to learn complementary sets of keypoints, we introduce a novel unsupervised loss which penalizes intersections among the different sets. Additionally, we propose a novel descriptor-based weighting scheme meant to penalize the detection of keypoints with non-discriminative descriptors. With extensive experiments we show that our feature extraction network, trained only on synthetically warped images and in a fully unsupervised manner, achieves competitive results on 3D reconstruction and re-localization tasks at a reduced matching complexity.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL