MASNet:Improve Performance of Siamese Networks with Mutual-attention for Remote Sensing Change Detection Tasks

要約

シャムネットワークは、リモートセンシングの変化検出タスクに広く利用されている。シャムネットワークは、重みを共有する2つの同じ特徴抽出ブランチを持ち、この2つのブランチは独立して動作し、デコーダヘッドに送られる直前まで特徴マップは融合されない。しかし、我々は、変化検出タスクのために、早い段階で2つの特徴抽出ブランチ間で情報を交換することが重要であることを見出した。本研究では、2つの特徴抽出ブランチ間で情報を交換するために、相互注意プラグインを用いた一般的なシャムネットワークであるMutual-Attention Siamese Network (MASNet)を提案する。本論文では、MASNetの改良により、複数の変化検出データセットにおいてシャムネットワークの性能が向上し、畳み込みニューラルネットワークと視覚変換器の両方において有効であることを示す。

要約(オリジナル)

Siamese networks are widely used for remote sensing change detection tasks. A vanilla siamese network has two identical feature extraction branches which share weights, these two branches work independently and the feature maps are not fused until about to be sent to a decoder head. However we find that it is critical to exchange information between two feature extraction branches at early stage for change detection task. In this work we present Mutual-Attention Siamese Network (MASNet), a general siamese network with mutual-attention plug-in, so to exchange information between the two feature extraction branches. We show that our modification improve the performance of siamese networks on multi change detection datasets, and it works for both convolutional neural network and visual transformer.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL