DPDETR: Decoupled Position Detection Transformer for Infrared-Visible Object Detection

要約

赤外線可視物体検出は、赤外線画像と可視画像のペアの補完情報を活用することで、堅牢な物体検出を実現することを目的としています。
しかし、一般的に存在するモダリティの位置ずれの問題には 2 つの課題があります。1 つは位置ずれの相補的特徴の融合が難しいこと、もう 1 つは現在の方法では位置ずれ条件下で両方のモダリティでオブジェクトの位置を正確に特定できないことです。
この論文では、これらの問題に対処するために、分離位置検出トランス (DPDETR) を提案します。
具体的には、オブジェクトのカテゴリ、可視モダリティの位置、および赤外線モダリティの位置を明示的に定式化して、ネットワークが本質的な関係を学習し、両方のモダリティでオブジェクトの正確な位置を出力できるようにします。
位置ずれしたオブジェクトの特徴を正確に融合するために、赤外および可視の基準位置の制約を使用して、マルチスペクトルの相補的特徴を適応的にサンプリングして集約する、分離位置マルチスペクトル クロスアテンション モジュールを提案します。
さらに、クエリ分離マルチスペクトル デコーダ構造を設計して、タスク内の 3 種類のオブジェクト情報間の最適化ギャップに対処し、分離位置を学習する DPDETR の能力を強化する分離位置コントラスト デノージング トレーニング戦略を提案します。
DroneVehicle と KAIST データセットの実験では、他の最先端の方法と比較して大幅な改善が示されています。
コードは https://github.com/gjj45/DPDETR で公開されます。

要約(オリジナル)

Infrared-visible object detection aims to achieve robust object detection by leveraging the complementary information of infrared and visible image pairs. However, the commonly existing modality misalignment problem presents two challenges: fusing misalignment complementary features is difficult, and current methods cannot accurately locate objects in both modalities under misalignment conditions. In this paper, we propose a Decoupled Position Detection Transformer (DPDETR) to address these problems. Specifically, we explicitly formulate the object category, visible modality position, and infrared modality position to enable the network to learn the intrinsic relationships and output accurate positions of objects in both modalities. To fuse misaligned object features accurately, we propose a Decoupled Position Multispectral Cross-attention module that adaptively samples and aggregates multispectral complementary features with the constraint of infrared and visible reference positions. Additionally, we design a query-decoupled Multispectral Decoder structure to address the optimization gap among the three kinds of object information in our task and propose a Decoupled Position Contrastive DeNosing Training strategy to enhance the DPDETR’s ability to learn decoupled positions. Experiments on DroneVehicle and KAIST datasets demonstrate significant improvements compared to other state-of-the-art methods. The code will be released at https://github.com/gjj45/DPDETR.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google