Learning-Based Dimensionality Reduction for Computing Compact and Effective Local Feature Descriptors

要約

特徴の形で画像パッチを明確に表現することは、画像マッチング、画像検索、視覚的位置特定など、多くのコンピューター ビジョンおよびロボティクス タスクの重要な要素です。
SIFT などの手作りの記述子から HardNet などの学習済み記述子まで、最先端の記述子は通常、高次元です。
128次元以上。
次元が高いほど、そのような記述子を使用するアプローチのメモリ消費と計算時間が長くなります。
この論文では、多層パーセプトロン (MLP) を調べて、低次元だが高品質の記述子を抽出します。
教師なし、自己教師あり、教師ありの設定でメソッドを徹底的に分析し、4 つの代表的な記述子で次元削減の結果を評価します。
視覚的なローカリゼーション、パッチの検証、画像の照合、検索など、さまざまなアプリケーションを検討しています。
実験は、軽量 MLP が PCA よりも優れた次元削減を達成することを示しています。
私たちのアプローチによって生成された低次元の記述子は、特に手作りのタスクの場合、下流のタスクで元の高次元の記述子よりも優れています。
コードは https://github.com/PRBonn/descriptor-dr で入手できます。

要約(オリジナル)

A distinctive representation of image patches in form of features is a key component of many computer vision and robotics tasks, such as image matching, image retrieval, and visual localization. State-of-the-art descriptors, from hand-crafted descriptors such as SIFT to learned ones such as HardNet, are usually high dimensional; 128 dimensions or even more. The higher the dimensionality, the larger the memory consumption and computational time for approaches using such descriptors. In this paper, we investigate multi-layer perceptrons (MLPs) to extract low-dimensional but high-quality descriptors. We thoroughly analyze our method in unsupervised, self-supervised, and supervised settings, and evaluate the dimensionality reduction results on four representative descriptors. We consider different applications, including visual localization, patch verification, image matching and retrieval. The experiments show that our lightweight MLPs achieve better dimensionality reduction than PCA. The lower-dimensional descriptors generated by our approach outperform the original higher-dimensional descriptors in downstream tasks, especially for the hand-crafted ones. The code will be available at https://github.com/PRBonn/descriptor-dr.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google