DiffCR: A Fast Conditional Diffusion Framework for Cloud Removal from Optical Satellite Images

要約

光学衛星画像は重要なデータソースです。
ただし、雲に覆われていると品質が損なわれることが多く、画像のアプリケーションや分析が妨げられます。
その結果、光学衛星画像から雲を効果的に除去することが、有力な研究方向として浮上している。
クラウド除去の最近の進歩は、主に敵対的生成ネットワークに依存しており、画質が最適ではない可能性がありますが、拡散モデルはさまざまな画像生成タスクで目覚ましい成功を収めており、この課題に対処する可能性を示しています。
この論文では、DiffCR と呼ばれる新しいフレームワークを紹介します。これは、光学衛星画像の高性能雲除去のために、深層畳み込みネットワークによる条件付きガイド拡散を活用します。
具体的には、条件付き画像特徴抽出用の分離エンコーダを導入し、条件付き入力と合成出力間の外観情報の類似性を保証する堅牢な色表現を提供します。
さらに、条件付き画像とターゲット画像の外観の対応を低計算コストで正確にシミュレートするために、雲除去モデル内の新規で効率的な時間と条件の融合ブロックを提案します。
一般的に使用されている 2 つのベンチマーク データセットに対する広範な実験評価により、DiffCR がすべてのメトリクスで一貫して最先端のパフォーマンスを達成し、パラメーターと計算の複雑さは、以前の最良の方法に比べてそれぞれわずか 5.1% と 5.4% であることが実証されました。
ソース コード、事前トレーニングされたモデル、およびすべての実験結果は、論文がこの研究を承認すると、https://github.com/XavierJiezou/DiffCR で公開されます。

要約(オリジナル)

Optical satellite images are a critical data source; however, cloud cover often compromises their quality, hindering image applications and analysis. Consequently, effectively removing clouds from optical satellite images has emerged as a prominent research direction. While recent advancements in cloud removal primarily rely on generative adversarial networks, which may yield suboptimal image quality, diffusion models have demonstrated remarkable success in diverse image-generation tasks, showcasing their potential in addressing this challenge. This paper presents a novel framework called DiffCR, which leverages conditional guided diffusion with deep convolutional networks for high-performance cloud removal for optical satellite imagery. Specifically, we introduce a decoupled encoder for conditional image feature extraction, providing a robust color representation to ensure the close similarity of appearance information between the conditional input and the synthesized output. Moreover, we propose a novel and efficient time and condition fusion block within the cloud removal model to accurately simulate the correspondence between the appearance in the conditional image and the target image at a low computational cost. Extensive experimental evaluations on two commonly used benchmark datasets demonstrate that DiffCR consistently achieves state-of-the-art performance on all metrics, with parameter and computational complexities amounting to only 5.1% and 5.4%, respectively, of those previous best methods. The source code, pre-trained models, and all the experimental results will be publicly available at https://github.com/XavierJiezou/DiffCR upon the paper’s acceptance of this work.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google