CD-CTFM: A Lightweight CNN-Transformer Network for Remote Sensing Cloud Detection Fusing Multiscale Features

要約

リモートセンシング画像に含まれる雲は情報抽出に必ず影響を及ぼし、その後の衛星画像の解析に支障をきたします。
したがって、雲の検出は必要な前処理手順です。
ただし、既存の方法には多数の計算とパラメータが必要です。
このレターでは、この問題を解決するために、軽量の CNN-Transformer ネットワークである CD-CTFM を提案します。
CD-CTFM はエンコーダ/デコーダ アーキテクチャに基づいており、アテンション メカニズムが組み込まれています。
デコーダ部分では、CNN と Transformer を組み合わせた軽量ネットワークをバックボーンとして利用し、ローカルとグローバルの特徴を同時に抽出します。
さらに、軽量の機能ピラミッド モジュールは、マルチスケールの機能とコンテキスト情報を融合するように設計されています。
デコーダ部分では、エンコーダとデコーダの間の各スキップ接続に軽量のチャネル空間アテンション モジュールを統合し、多くのパラメータを導入することなく無関係な情報を抑制しながら低レベルの特徴を抽出します。
最後に、提案されたモデルは 2 つのクラウド データセット、38-Cloud と MODIS で評価されます。
結果は、CD-CTFM が最先端の方法と同等の精度を達成していることを示しています。
同時に、CD-CTFM は効率の点で最先端の方法を上回ります。

要約(オリジナル)

Clouds in remote sensing images inevitably affect information extraction, which hinder the following analysis of satellite images. Hence, cloud detection is a necessary preprocessing procedure. However, the existing methods have numerous calculations and parameters. In this letter, a lightweight CNN-Transformer network, CD-CTFM, is proposed to solve the problem. CD-CTFM is based on encoder-decoder architecture and incorporates the attention mechanism. In the decoder part, we utilize a lightweight network combing CNN and Transformer as backbone, which is conducive to extract local and global features simultaneously. Moreover, a lightweight feature pyramid module is designed to fuse multiscale features with contextual information. In the decoder part, we integrate a lightweight channel-spatial attention module into each skip connection between encoder and decoder, extracting low-level features while suppressing irrelevant information without introducing many parameters. Finally, the proposed model is evaluated on two cloud datasets, 38-Cloud and MODIS. The results demonstrate that CD-CTFM achieves comparable accuracy as the state-of-art methods. At the same time, CD-CTFM outperforms state-of-art methods in terms of efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google