RDD: Robust Feature Detector and Descriptor using Deformable Transformer

要約

構造からのストレートとスラムの中心的なステップとして、大幅な視点の変化などの挑戦的なシナリオの下での堅牢な機能の検出と説明の下での説明は、その遍在にもかかわらず解決されていません。
最近の作品は、幾何学的変換のモデル化におけるローカル機能の重要性を特定していますが、これらの方法は長距離関係に存在する視覚的な手がかりを学習できません。
堅牢な変形可能な検出器（RDD）を提示します。これは、変形可能な自己関節メカニズムを介してグローバルなコンテキストと幾何学的不変性をキャプチャする、変形可能な変圧器を活用する新規で堅牢なキーポイント検出器/記述子を提示します。
具体的には、変形可能な注意が重要な場所に焦点を当て、検索空間の複雑さを効果的に削減し、幾何学的不変性をモデル化することが観察されました。
さらに、標準のMegadepthデータセットに加えて、トレーニング用の空対地データセットを収集しました。
提案された方法は、スパースマッチングタスクのすべての最先端のキーポイント検出/説明方法よりも優れており、半密なマッチングも可能です。
包括的な評価を確保するために、2つの挑戦的なベンチマークを紹介します。1つは大きな視点とスケールのバリエーションを強調し、もう1つは空中ベンチマークです。これは、さまざまな高度にわたる3D再構成に最近人気を博している評価設定です。

要約(オリジナル)

As a core step in structure-from-motion and SLAM, robust feature detection and description under challenging scenarios such as significant viewpoint changes remain unresolved despite their ubiquity. While recent works have identified the importance of local features in modeling geometric transformations, these methods fail to learn the visual cues present in long-range relationships. We present Robust Deformable Detector (RDD), a novel and robust keypoint detector/descriptor leveraging the deformable transformer, which captures global context and geometric invariance through deformable self-attention mechanisms. Specifically, we observed that deformable attention focuses on key locations, effectively reducing the search space complexity and modeling the geometric invariance. Furthermore, we collected an Air-to-Ground dataset for training in addition to the standard MegaDepth dataset. Our proposed method outperforms all state-of-the-art keypoint detection/description methods in sparse matching tasks and is also capable of semi-dense matching. To ensure comprehensive evaluation, we introduce two challenging benchmarks: one emphasizing large viewpoint and scale variations, and the other being an Air-to-Ground benchmark — an evaluation setting that has recently gaining popularity for 3D reconstruction across different altitudes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google