Multimodal Diffusion Bridge with Attention-Based SAR Fusion for Satellite Image Cloud Removal

要約

ディープラーニングは、合成開口レーダー（SAR）画像と融合することで、光学衛星画像における雲除去の課題に対処し、一定の成功を収めている。最近では、拡散モデルが雲除去のための強力なツールとして登場し、以前の手法と比較して、雲のない分布からサンプリングすることにより、より高品質な推定を実現している。しかし、拡散モデルは純粋なガウスノイズからのサンプリングを開始するため、サンプリング軌道が複雑になり、最適な性能が得られない。また、現在の手法では、SARと光学データを効果的に融合させることができません。これらの限界に対処するため、我々はDiffusion Bridges for Cloud Removal(DB-CR)を提案する。さらに、マルチモーダル画像復元のために、効率的なバックボーンと専用のクロスモダリティ融合ブロックを組み込み、合成開口レーダー（SAR）と光学画像から効果的に特徴を抽出し融合する、2分岐バックボーンを持つ新しいマルチモーダル拡散ブリッジアーキテクチャを提案する。雲除去を拡散ブリッジ問題として定式化し、この調整されたアーキテクチャを活用することで、DB-CRは計算効率に優れながら、忠実度の高い結果を達成する。我々はSEN12MS-CR雲除去データセットでDB-CRを評価し、DB-CRが最先端の結果を達成することを実証した。

要約(オリジナル)

Deep learning has achieved some success in addressing the challenge of cloud removal in optical satellite images, by fusing with synthetic aperture radar (SAR) images. Recently, diffusion models have emerged as powerful tools for cloud removal, delivering higher-quality estimation by sampling from cloud-free distributions, compared to earlier methods. However, diffusion models initiate sampling from pure Gaussian noise, which complicates the sampling trajectory and results in suboptimal performance. Also, current methods fall short in effectively fusing SAR and optical data. To address these limitations, we propose Diffusion Bridges for Cloud Removal, DB-CR, which directly bridges between the cloudy and cloud-free image distributions. In addition, we propose a novel multimodal diffusion bridge architecture with a two-branch backbone for multimodal image restoration, incorporating an efficient backbone and dedicated cross-modality fusion blocks to effectively extract and fuse features from synthetic aperture radar (SAR) and optical images. By formulating cloud removal as a diffusion-bridge problem and leveraging this tailored architecture, DB-CR achieves high-fidelity results while being computationally efficient. We evaluated DB-CR on the SEN12MS-CR cloud-removal dataset, demonstrating that it achieves state-of-the-art results.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL