DeDoDe: Detect, Don’t Describe — Describe, Don’t Detect for Local Feature Matching

要約

キーポイント検出は 3D 再構成における極めて重要なステップであり、これにより (最大) K 点のセットがシーンの各ビューで検出されます。
重要なのは、検出された点がビュー間で一貫している必要があること、つまり、シーン内の同じ 3D 点に対応していることです。
キーポイント検出に関する主な課題の 1 つは、学習目標の策定です。
従来の学習ベースの方法は、通常、記述子とキーポイントを共同で学習し、キーポイントの検出を相互最近傍のバイナリ分類タスクとして扱います。
ただし、最近傍記述子に基づくキーポイント検出はプロキシ タスクであり、3D 一貫性のあるキーポイントが生成されることは保証されません。
さらに、これによりキーポイントが特定の記述子に関連付けられるため、ダウンストリームでの使用が複雑になります。
この作業では、代わりに 3D の一貫性からキーポイントを直接学習します。
この目的を達成するために、大規模な SfM からトラックを検出するように検出器をトレーニングします。
これらのポイントは非常にまばらであることが多いため、半教師あり 2 ビュー検出目標を導出し、このセットを必要な検出数まで拡張します。
記述子をトレーニングするには、別のネットワークを使用してキーポイント上の相互最近傍目標を最大化します。
結果は、私たちのアプローチである DeDoDe が複数のジオメトリ ベンチマークで大幅な向上を達成していることを示しています。
コードは https://github.com/Parskatt/DeDoDe で提供されます。

要約(オリジナル)

Keypoint detection is a pivotal step in 3D reconstruction, whereby sets of (up to) K points are detected in each view of a scene. Crucially, the detected points need to be consistent between views, i.e., correspond to the same 3D point in the scene. One of the main challenges with keypoint detection is the formulation of the learning objective. Previous learning-based methods typically jointly learn descriptors with keypoints, and treat the keypoint detection as a binary classification task on mutual nearest neighbours. However, basing keypoint detection on descriptor nearest neighbours is a proxy task, which is not guaranteed to produce 3D-consistent keypoints. Furthermore, this ties the keypoints to a specific descriptor, complicating downstream usage. In this work, we instead learn keypoints directly from 3D consistency. To this end, we train the detector to detect tracks from large-scale SfM. As these points are often overly sparse, we derive a semi-supervised two-view detection objective to expand this set to a desired number of detections. To train a descriptor, we maximize the mutual nearest neighbour objective over the keypoints with a separate network. Results show that our approach, DeDoDe, achieves significant gains on multiple geometry benchmarks. Code is provided at https://github.com/Parskatt/DeDoDe .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google