Looking Beyond Corners: Contrastive Learning of Visual Representations for Keypoint Detection and Description Extraction

要約

学習可能なキーポイント検出器と記述子は、従来の手作りの特徴抽出方法を上回り始めています。
視覚的表現の自己教師あり学習に関する最近の研究は、深いネットワークに基づく学習可能なモデルのパフォーマンスの向上を推進しています。
これらのネットワークは、従来のデータ拡張とホモグラフィ変換を活用することで、極端な照明の変化などの悪条件の下でコーナーを検出することを学習します。
ただし、それらの一般化機能は、従来の方法または合成的に生成されたデータによって事前に検出された角のような特徴に限定されます。
この論文では、再現可能なキーポイントを検出し、空間的制約の下で教師なし対照学習を介して識別的記述を抽出することを学習する通信ネットワーク（CorrNet）を提案します。
私たちの実験は、CorrNetがコーナーなどの低レベルの特徴を検出できるだけでなく、潜在空間の提案された共同ガイド付きバックプロパゲーションを通じて、入力画像のペアに存在する同様のオブジェクトを表す高レベルの特徴も検出できることを示しています。
私たちのアプローチは、視点の変化の下で競争力のある結果を取得し、照明の変化の下で最先端のパフォーマンスを実現します。

要約(オリジナル)

Learnable keypoint detectors and descriptors are beginning to outperform classical hand-crafted feature extraction methods. Recent studies on self-supervised learning of visual representations have driven the increasing performance of learnable models based on deep networks. By leveraging traditional data augmentations and homography transformations, these networks learn to detect corners under adverse conditions such as extreme illumination changes. However, their generalization capabilities are limited to corner-like features detected a priori by classical methods or synthetically generated data. In this paper, we propose the Correspondence Network (CorrNet) that learns to detect repeatable keypoints and to extract discriminative descriptions via unsupervised contrastive learning under spatial constraints. Our experiments show that CorrNet is not only able to detect low-level features such as corners, but also high-level features that represent similar objects present in a pair of input images through our proposed joint guided backpropagation of their latent space. Our approach obtains competitive results under viewpoint changes and achieves state-of-the-art performance under illumination changes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google