DAMSDet: Dynamic Adaptive Multispectral Detection Transformer with Competitive Query Selection and Adaptive Feature Fusion

要約

赤外線可視物体検出は、赤外線画像と可視画像の補完情報を融合することで、一日中であっても堅牢な物体検出を実現することを目的としています。
しかし、非常に動的に変化する相補的特性と一般的に存在するモダリティの不整合により、相補的情報の融合が困難になります。
この論文では、これら 2 つの課題に同時に対処する動的適応マルチスペクトル検出トランス (DAMSDet) を提案します。
具体的には、有用な事前情報を提供するモダリティ競合クエリ選択戦略を提案します。
この戦略では、オブジェクトごとに基本的な顕著なモダリティ特徴表現を動的に選択できます。
補完的な情報を効果的にマイニングし、位置ずれの状況に適応するために、物体ごとに赤外線画像と可視画像のマルチセマンティックレベルの特徴を適応的にサンプリングして集約するマルチスペクトル変形可能クロスアテンションモジュールを提案します。
さらに、DETR のカスケード構造をさらに採用して、補完的な情報をより適切にマイニングします。
さまざまなシーンの 4 つの公開データセットでの実験では、他の最先端の方法と比較して大幅な改善が実証されました。
コードは https://github.com/gjj45/DAMSDet で公開されます。

要約(オリジナル)

Infrared-visible object detection aims to achieve robust even full-day object detection by fusing the complementary information of infrared and visible images. However, highly dynamically variable complementary characteristics and commonly existing modality misalignment make the fusion of complementary information difficult. In this paper, we propose a Dynamic Adaptive Multispectral Detection Transformer (DAMSDet) to simultaneously address these two challenges. Specifically, we propose a Modality Competitive Query Selection strategy to provide useful prior information. This strategy can dynamically select basic salient modality feature representation for each object. To effectively mine the complementary information and adapt to misalignment situations, we propose a Multispectral Deformable Cross-attention module to adaptively sample and aggregate multi-semantic level features of infrared and visible images for each object. In addition, we further adopt the cascade structure of DETR to better mine complementary information. Experiments on four public datasets of different scenes demonstrate significant improvements compared to other state-of-the-art methods. The code will be released at https://github.com/gjj45/DAMSDet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google