ALIKED: A Lighter Keypoint and Descriptor Extraction Network via Deformable Transformation

要約

タイトル: Deformable Transformationを通じて、軽量なキーポイントと記述子抽出ネットワークであるALIKED
要約:
– イメージのキーポイントと記述子は多くの視覚的な測定タスクにおいて重要な役割を果たす。
– 近年、深層ニューラルネットワークはキーポイントと記述子の抽出の性能を向上させるために広く使用されている。
– しかし、従来の畳み込み演算は記述子に必要な幾何学的不変性を提供していない。
– この問題に対処するために、Sparse Deformable Descriptor Head (SDDH)を提案し、各キーポイントの支援特徴の変形位置を学習し、変形可能な記述子を構築します。
– さらに、SDDHは密な記述子マップではなく疎なキーポイントで記述子を抽出するため、強力な表現力を持つ記述子を効率的に抽出できるようになります。
– さらに、抽出された疎な記述子のトレーニングには、神経再投影誤差（NRE）損失を密から疎に緩和します。
– 実験結果は、提案されたネットワークが画像マッチング、3D再構築、および視覚再現などのさまざまな視覚的測定タスクにおいて効率的かつ強力であることを示しています。

要約(オリジナル)

Image keypoints and descriptors play a crucial role in many visual measurement tasks. In recent years, deep neural networks have been widely used to improve the performance of keypoint and descriptor extraction. However, the conventional convolution operations do not provide the geometric invariance required for the descriptor. To address this issue, we propose the Sparse Deformable Descriptor Head (SDDH), which learns the deformable positions of supporting features for each keypoint and constructs deformable descriptors. Furthermore, SDDH extracts descriptors at sparse keypoints instead of a dense descriptor map, which enables efficient extraction of descriptors with strong expressiveness. In addition, we relax the neural reprojection error (NRE) loss from dense to sparse to train the extracted sparse descriptors. Experimental results show that the proposed network is both efficient and powerful in various visual measurement tasks, including image matching, 3D reconstruction, and visual relocalization.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI