PMAA: A Progressive Multi-scale Attention Autoencoder Model for High-performance Cloud Removal from Multi-temporal Satellite Imagery

要約

衛星画像解析はリモートセンシングにおいて極めて重要な役割を果たします。
ただし、雲に覆われて情報が失われると、その適用が大幅に妨げられます。
既存の深層雲除去モデルは注目すべき成果を上げていますが、コンテキスト情報はほとんど考慮されていません。
この研究では、プログレッシブ マルチスケール アテンション オートエンコーダ (PMAA) と呼ばれる高性能クラウド除去アーキテクチャを導入します。これは、新しいマルチスケール アテンション モジュール (MAM) と新しいローカル インタラクションを使用して、グローバル情報とローカル情報を同時に利用して、堅牢なコンテキスト依存関係を構築します。
モジュール (LIM)。
PMAA は、MAM を使用してマルチスケール フィーチャの長距離依存関係を確立し、LIM を使用して細粒度の詳細の再構築を調整し、同じレベルで細粒度のフィーチャと粗粒度のフィーチャを同時に表現できるようにします。
多様なマルチスケール機能のおかげで、PMAA は 2 つのベンチマーク データセットで以前の最先端モデル CTGAN を常に上回っています。
さらに、PMAA は、CTGAN のパラメーターと計算量のそれぞれわずか 0.5% と 14.6% であり、かなりの効率上の利点を誇ります。
これらの包括的な結果は、大規模なクラウド削除タスクを実行するためのエッジ デバイスへの展開に適した軽量のクラウド削除ネットワークとしての PMAA の可能性を強調しています。
私たちのソース コードと事前トレーニングされたモデルは、https://github.com/XavierJiezou/PMAA で入手できます。

要約(オリジナル)

Satellite imagery analysis plays a pivotal role in remote sensing; however, information loss due to cloud cover significantly impedes its application. Although existing deep cloud removal models have achieved notable outcomes, they scarcely consider contextual information. This study introduces a high-performance cloud removal architecture, termed Progressive Multi-scale Attention Autoencoder (PMAA), which concurrently harnesses global and local information to construct robust contextual dependencies using a novel Multi-scale Attention Module (MAM) and a novel Local Interaction Module (LIM). PMAA establishes long-range dependencies of multi-scale features using MAM and modulates the reconstruction of fine-grained details utilizing LIM, enabling simultaneous representation of fine- and coarse-grained features at the same level. With the help of diverse and multi-scale features, PMAA consistently outperforms the previous state-of-the-art model CTGAN on two benchmark datasets. Moreover, PMAA boasts considerable efficiency advantages, with only 0.5% and 14.6% of the parameters and computational complexity of CTGAN, respectively. These comprehensive results underscore PMAA’s potential as a lightweight cloud removal network suitable for deployment on edge devices to accomplish large-scale cloud removal tasks. Our source code and pre-trained models are available at https://github.com/XavierJiezou/PMAA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google