Remote Sensing Change Detection With Transformers Trained from Scratch

要約

タイトル：スクラッチからトレーニングされたTransformersによる遠隔検知変化検出

要約：

– 現在のTransformerに基づく変化検出（CD）アプローチは、大規模画像分類ImageNetデータセットで事前にトレーニングされたモデルを使用するか、その他のCDデータセットで最初に事前トレーニングを行い、その後にターゲットベンチマークで微調整することによって行われます。これは、Transformerが帰納的バイアスを学習するために大量のトレーニングデータが必要であるためであり、これらのデータセットではデータ数が少ないため不十分です。
– スクラッチからトレーニングされたTransformerを使用したエンドツーエンドのCDアプローチを開発しましたが、公開されている4つのベンチマークで最先端の性能を発揮します。
– スクラッチからトレーニングされた場合に帰納的バイアスをキャプチャするのが難しい従来のセルフアテンションの代わりに、当社のアーキテクチャは、選択されたスパース情報領域に焦点を当てるシャッフルされたスパースアテンション操作を使用して、CDデータの固有の特性をキャプチャします。
– さらに、機能強化変更融合（CEFF）モジュールを導入し、パーキャネルの再重み付けを行うことで、入力画像ペアから機能を融合します。当社のCEFFモジュールは、関連する意味のある変更を強化し、ノイズを抑制するのに役立ちます。
– 4つのCDデータセットでの詳細な実験では、提案された貢献のメリットが明らかになり、文献で最高のパフォーマンスと比較して、IoUスコアで最大14.27％の利益が得られました。コードは、\url{https://github.com/mustansarfiaz/ScratchFormer}で入手できます。

要約(オリジナル)

Current transformer-based change detection (CD) approaches either employ a pre-trained model trained on large-scale image classification ImageNet dataset or rely on first pre-training on another CD dataset and then fine-tuning on the target benchmark. This current strategy is driven by the fact that transformers typically require a large amount of training data to learn inductive biases, which is insufficient in standard CD datasets due to their small size. We develop an end-to-end CD approach with transformers that is trained from scratch and yet achieves state-of-the-art performance on four public benchmarks. Instead of using conventional self-attention that struggles to capture inductive biases when trained from scratch, our architecture utilizes a shuffled sparse-attention operation that focuses on selected sparse informative regions to capture the inherent characteristics of the CD data. Moreover, we introduce a change-enhanced feature fusion (CEFF) module to fuse the features from input image pairs by performing a per-channel re-weighting. Our CEFF module aids in enhancing the relevant semantic changes while suppressing the noisy ones. Extensive experiments on four CD datasets reveal the merits of the proposed contributions, achieving gains as high as 14.27\% in intersection-over-union (IoU) score, compared to the best-published results in the literature. Code is available at \url{https://github.com/mustansarfiaz/ScratchFormer}.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI