DRKF: Distilled Rotated Kernel Fusion for Efficient Rotation Invariant Descriptors in Local Feature Matching

要約

局所特徴記述子のパフォーマンスは、回転変動が大きい場合には低下します。
この問題に対処するために、回転不変記述子を学習する効率的なアプローチを紹介します。
具体的には、畳み込みカーネルに回転を課して CNN の固有の性質を改善する Rotated Kernel Fusion (RKF) を提案します。
RKF はその後の再パラメータ化によって処理できるため、推論段階で余分な計算コストが発生しません。
さらに、入力画像の複数の回転バージョンから抽出された特徴を集約し、蒸留戦略を活用することで RKF のトレーニングに補助的な知識を提供できる多指向特徴集約 (MOFA) を紹介します。
蒸留された RKF モデルを DRKF と呼びます。
公開データセット HPatches の回転拡張バージョンの評価に加えて、ドローンの飛行中に収集され、大きな視点変更とカメラ回転を伴う鳥瞰図画像で構成される DiverseBEV という名前の新しいデータセットも提供します。
広範な実験により、大きな回転変動にさらされた場合、私たちの方法が他の最先端の技術よりも優れたパフォーマンスを発揮できることが示されています。

要約(オリジナル)

The performance of local feature descriptors degrades in the presence of large rotation variations. To address this issue, we present an efficient approach to learning rotation invariant descriptors. Specifically, we propose Rotated Kernel Fusion (RKF) which imposes rotations on the convolution kernel to improve the inherent nature of CNN. Since RKF can be processed by the subsequent re-parameterization, no extra computational costs will be introduced in the inference stage. Moreover, we present Multi-oriented Feature Aggregation (MOFA) which aggregates features extracted from multiple rotated versions of the input image and can provide auxiliary knowledge for the training of RKF by leveraging the distillation strategy. We refer to the distilled RKF model as DRKF. Besides the evaluation on a rotation-augmented version of the public dataset HPatches, we also contribute a new dataset named DiverseBEV which is collected during the drone’s flight and consists of bird’s eye view images with large viewpoint changes and camera rotations. Extensive experiments show that our method can outperform other state-of-the-art techniques when exposed to large rotation variations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google