SiamixFormer: A Siamese Transformer Network For Building Detection And Change Detection From Bi-Temporal Remote Sensing Images

要約

リモート センシング画像を使用した建物の検出と変化の検出は、都市計画と救助計画に役立ちます。
また、自然災害後の建物被害評価にも活用できます。
現在、既存の建物検出モデルのほとんどは、1 つの画像 (災害前の画像) のみを使用して建物を検出しています。
これは、破壊された建物の存在により、災害後の画像がモデルのパフォーマンスを低下させるという考えに基づいています。
この論文では、災害前と災害後の画像を入力として使用する、SiamixFormer と呼ばれるシャム モデルを提案します。
このモデルには 2 つのエンコーダーがあり、階層的なトランスフォーマー アーキテクチャがあります。
両方のエンコーダーの各ステージの出力は、クエリが災害前の画像から生成され、(キー、値) が災害後の画像から生成されるという方法で、特徴融合のために時間変換器に与えられます。
この目的のために、時間的特徴も特徴融合で考慮されます。
特徴融合で時間変換器を使用するもう 1 つの利点は、CNN と比較して、変換器エンコーダーによって生成された大きな受容野をより適切に維持できることです。
最後に、テンポラル トランスフォーマーの出力は、各ステージの単純な MLP デコーダーに渡されます。
SiamixFormer モデルは、建物の検出については xBD および WHU データセットで評価され、変化の検出については LEVIR-CD および CDD データセットで評価され、最先端のモデルよりも優れている可能性があります。

要約(オリジナル)

Building detection and change detection using remote sensing images can help urban and rescue planning. Moreover, they can be used for building damage assessment after natural disasters. Currently, most of the existing models for building detection use only one image (pre-disaster image) to detect buildings. This is based on the idea that post-disaster images reduce the model’s performance because of presence of destroyed buildings. In this paper, we propose a siamese model, called SiamixFormer, which uses pre- and post-disaster images as input. Our model has two encoders and has a hierarchical transformer architecture. The output of each stage in both encoders is given to a temporal transformer for feature fusion in a way that query is generated from pre-disaster images and (key, value) is generated from post-disaster images. To this end, temporal features are also considered in feature fusion. Another advantage of using temporal transformers in feature fusion is that they can better maintain large receptive fields generated by transformer encoders compared with CNNs. Finally, the output of the temporal transformer is given to a simple MLP decoder at each stage. The SiamixFormer model is evaluated on xBD, and WHU datasets, for building detection and on LEVIR-CD and CDD datasets for change detection and could outperform the state-of-the-art.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google