RCDT: Relational Remote Sensing Change Detection with Transformer

要約

ディープラーニングに基づく変化検出手法は、画像から豊富な特徴を取得する強力な機能のおかげで、広く注目されています。
ただし、既存の AI ベースの CD メソッドは、主に 3 つの機能強化モジュール、すなわちセマンティック強化、注意メカニズム、対応強化に依存しています。
これらのモジュールを積み重ねると、モデルが非常に複雑になります。
これら 3 つのモジュールを単純なパイプラインに統合するために、Relational Change Detection Transformer (RCDT) を導入します。これは、リモート センシングの変化検出タスクのための斬新でシンプルなフレームワークです。
提案された RCDT は、バイテンポラル機能を取得するための重み共有シャム バックボーン、バイテンポラル関係認識機能を取得するためのオフセット相互注意を実装するリレーショナル相互注意モジュール (RCAM)、および機能制約モジュールの 3 つの主要なコンポーネントで構成されます。
(FCM) を使用して、高解像度の制約を使用して最終的に洗練された予測を達成します。
公開されている 4 つの異なるデータセットでの広範な実験により、提案した RCDT が他の競合する方法と比較して優れた変更検出パフォーマンスを示すことが示唆されています。
この研究の理論的、方法論的、および実験的知識は、相互注意メカニズムを含む将来の変更検出の取り組みに役立つことが期待されています。

要約(オリジナル)

Deep learning based change detection methods have received wide attentoion, thanks to their strong capability in obtaining rich features from images. However, existing AI-based CD methods largely rely on three functionality-enhancing modules, i.e., semantic enhancement, attention mechanisms, and correspondence enhancement. The stacking of these modules leads to great model complexity. To unify these three modules into a simple pipeline, we introduce Relational Change Detection Transformer (RCDT), a novel and simple framework for remote sensing change detection tasks. The proposed RCDT consists of three major components, a weight-sharing Siamese Backbone to obtain bi-temporal features, a Relational Cross Attention Module (RCAM) that implements offset cross attention to obtain bi-temporal relation-aware features, and a Features Constrain Module (FCM) to achieve the final refined predictions with high-resolution constraints. Extensive experiments on four different publically available datasets suggest that our proposed RCDT exhibits superior change detection performance compared with other competing methods. The therotical, methodogical, and experimental knowledge of this study is expected to benefit future change detection efforts that involve the cross attention mechanism.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google