Multimodal Transformer Using Cross-Channel attention for Object Detection in Remote Sensing Images

要約

リモート センシング画像 (RSI) での物体検出は、地球観測 (EO) の多くのアプリケーションにとって重要なタスクです。
自然画像での物体検出とは異なり、リモート センシング画像での物体検出は、注釈付きデータの不足と、わずか数ピクセルで表される小さな物体の存在という課題に直面しています。
マルチモーダル融合は、RGB、赤外線 (IR)、ライダー、合成開口レーダー (SAR) などの複数のモダリティからのデータを融合することで精度を向上させることが決定されています。
この目的のために、並列サブネットワークによって生成される中期または後期段階での表現の融合が支配的ですが、モダリティの数のオーダーで計算の複雑さが増加し、追加のエンジニアリング上の障害が発生するという欠点があります。
クロスアテンションメカニズムを使用して、初期段階で異なるチャネル間の関係をマッピングするための新しいマルチモーダル融合戦略を提案し、異なるモダリティを調整することによって一貫した入力の構築を可能にします。
中期または後期の方法ではなく、初期段階で融合に取り組むことにより、私たちの方法は既存の技術と比較して競争力があり、さらに優れたパフォーマンスを実現します。
さらに、畳み込み層を非シフト ブロックのフィードフォワードに統合することで、SWIN トランスフォーマーを強化しました。
この拡張により、ローカル アテンションを通じて分離されたウィンドウをマージするモデルの能力が強化され、それによって小さなオブジェクトの検出が向上します。
広範な実験により、提案されたマルチモーダル融合モジュールとアーキテクチャの有効性が証明され、マルチモーダル航空画像における物体検出への適用可能性が実証されました。

要約(オリジナル)

Object detection in Remote Sensing Images (RSI) is a critical task for numerous applications in Earth Observation (EO). Differing from object detection in natural images, object detection in remote sensing images faces challenges of scarcity of annotated data and the presence of small objects represented by only a few pixels. Multi-modal fusion has been determined to enhance the accuracy by fusing data from multiple modalities such as RGB, infrared (IR), lidar, and synthetic aperture radar (SAR). To this end, the fusion of representations at the mid or late stage, produced by parallel subnetworks, is dominant, with the disadvantages of increasing computational complexity in the order of the number of modalities and the creation of additional engineering obstacles. Using the cross-attention mechanism, we propose a novel multi-modal fusion strategy for mapping relationships between different channels at the early stage, enabling the construction of a coherent input by aligning the different modalities. By addressing fusion in the early stage, as opposed to mid or late-stage methods, our method achieves competitive and even superior performance compared to existing techniques. Additionally, we enhance the SWIN transformer by integrating convolution layers into the feed-forward of non-shifting blocks. This augmentation strengthens the model’s capacity to merge separated windows through local attention, thereby improving small object detection. Extensive experiments prove the effectiveness of the proposed multimodal fusion module and the architecture, demonstrating their applicability to object detection in multimodal aerial imagery.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google