DRKF: Distilled Rotated Kernel Fusion for Efficiently Boosting Rotation Invariance in Image Matching

要約

ほとんどの既存の学習ベースの画像マッチング パイプラインは、繰り返されるテクスチャや視点の変更などに対してロバストな優れた特徴検出器と記述子向けに設計されていますが、回転の不変性にはほとんど注意が払われていません。
結果として、これらのアプローチは通常、キーポイントの方向予測がないため、データにかなりのレベルの回転が存在する状況では、手作りのアルゴリズムと比較してパフォーマンスが劣ります。
この問題に効率的に対処するために、追加の計算コストなしで回転のロバスト性を改善するために、知識の蒸留に基づくアプローチが提案されています。
具体的には、基本モデルに基づいて、Multi-Oriented Feature Aggregation (MOFA) を提案します。これは、その後蒸留パイプラインの教師として採用されます。
さらに、Rotated Kernel Fusion (RKF) が学生モデルの各畳み込みカーネルに適用され、回転不変機能の学習が容易になります。
最終的に、実験では、推論段階で追加のコストをかけることなく、さまざまなローテーションの下で提案をうまく一般化できることが示されています。

要約(オリジナル)

Most existing learning-based image matching pipelines are designed for better feature detectors and descriptors which are robust to repeated textures, viewpoint changes, etc., while little attention has been paid to rotation invariance. As a consequence, these approaches usually demonstrate inferior performance compared to the handcrafted algorithms in circumstances where a significant level of rotation exists in data, due to the lack of keypoint orientation prediction. To address the issue efficiently, an approach based on knowledge distillation is proposed for improving rotation robustness without extra computational costs. Specifically, based on the base model, we propose Multi-Oriented Feature Aggregation (MOFA), which is subsequently adopted as the teacher in the distillation pipeline. Moreover, Rotated Kernel Fusion (RKF) is applied to each convolution kernel of the student model to facilitate learning rotation-invariant features. Eventually, experiments show that our proposals can generalize successfully under various rotations without additional costs in the inference stage.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google