Patch-GAN Transfer Learning with Reconstructive Models for Cloud Removal

要約

雲の除去はリモートセンシング画像解析を強化する上で重要な役割を果たしますが、雲に覆われた領域を正確に再構成することは依然として大きな課題です。
生成モデルの最近の進歩により、リアルな画像の生成がますます容易になり、このタスクに新たな機会が提供されています。
画像生成と雲除去タスク間の概念的な整合性を考えると、生成モデルは、リモート センシングにおける雲除去に対処するための有望なアプローチを示します。
この研究では、敵対的生成ネットワーク (GAN) フレームワークに基づいて構築された深層転移学習アプローチを提案し、雲除去における新しいマスク オートエンコーダー (MAE) 画像再構成モデ​​ルの可能性を探ります。
リモート センシング画像は複雑であるため、画像の各パッチが本物かどうかを判断するためにパッチごとの識別器を使用することをさらに提案します。
提案された再構築転移学習アプローチは、他の GAN ベースの方法と比較して雲除去パフォーマンスが大幅に向上していることを示しています。
さらに、一部の最先端の雲除去技術との直接比較は、トレーニング/テスト データの分割に関する詳細が不明瞭であるため制限されていますが、提案されたモデルは、利用可能なベンチマークに基づいて競争力のある結果を達成しています。

要約(オリジナル)

Cloud removal plays a crucial role in enhancing remote sensing image analysis, yet accurately reconstructing cloud-obscured regions remains a significant challenge. Recent advancements in generative models have made the generation of realistic images increasingly accessible, offering new opportunities for this task. Given the conceptual alignment between image generation and cloud removal tasks, generative models present a promising approach for addressing cloud removal in remote sensing. In this work, we propose a deep transfer learning approach built on a generative adversarial network (GAN) framework to explore the potential of the novel masked autoencoder (MAE) image reconstruction model in cloud removal. Due to the complexity of remote sensing imagery, we further propose using a patch-wise discriminator to determine whether each patch of the image is real or not. The proposed reconstructive transfer learning approach demonstrates significant improvements in cloud removal performance compared to other GAN-based methods. Additionally, whilst direct comparisons with some of the state-of-the-art cloud removal techniques are limited due to unclear details regarding their train/test data splits, the proposed model achieves competitive results based on available benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google