XoFTR: Cross-modal Feature Matching Transformer

要約

熱赤外 (TIR) 画像と可視画像間の局所特徴マッチングのためのクロスモーダル クロスビュー法である XoFTR を紹介します。
可視画像とは異なり、TIR 画像は悪影響を受ける照明や気象条件の影響を受けにくいですが、テクスチャや強度に大きな違いがあるため、マッチングが困難になります。
現在の手作りの学習ベースの可視 TIR マッチング方法は、視点、スケール、テクスチャの多様性を扱うには不十分です。
これに対処するために、XoFTR にはマスクされた画像モデリングの事前トレーニングと擬似熱画像拡張による微調整が組み込まれており、モダリティの違いに対応します。
さらに、スケールの不一致を調整し、サブピクセル レベルの調整を通じて一致の信頼性を高める、洗練されたマッチング パイプラインを導入します。
私たちのアプローチを検証するために、包括的な可視熱データセットを収集し、私たちの方法が多くのベンチマークで既存の方法よりも優れていることを示します。

要約(オリジナル)

We introduce, XoFTR, a cross-modal cross-view method for local feature matching between thermal infrared (TIR) and visible images. Unlike visible images, TIR images are less susceptible to adverse lighting and weather conditions but present difficulties in matching due to significant texture and intensity differences. Current hand-crafted and learning-based methods for visible-TIR matching fall short in handling viewpoint, scale, and texture diversities. To address this, XoFTR incorporates masked image modeling pre-training and fine-tuning with pseudo-thermal image augmentation to handle the modality differences. Additionally, we introduce a refined matching pipeline that adjusts for scale discrepancies and enhances match reliability through sub-pixel level refinement. To validate our approach, we collect a comprehensive visible-thermal dataset, and show that our method outperforms existing methods on many benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google