High-Resolution Cloud Removal with Multi-Modal and Multi-Resolution Data Fusion: A New Baseline and Benchmark

要約

本論文では、マルチモーダルおよびマルチ解像度データフュージョンによる高解像度雲除去のためのベンチマークデータセットであるPlanet-CRを紹介する。Planet-CRは、高解像度の光学観測データとレーダー観測データ、そしてピクセルレベルの土地被覆アノテーションを組み合わせた、雲除去のための最初のパブリックデータセットである。このデータセットは、視覚的に美しいテクスチャと意味的に意味のある構造を生成するという点で、徹底的な評価のための確固たる基礎を提供します。このデータセットを用いて、マルチモーダルかつマルチ解像度の情報を統合することにより、高解像度光学リモートセンシング画像における雲除去の問題を検討する。既存のマルチモーダルデータフュージョンに基づく手法は、画像ペアがピクセル単位で整列していることを前提としているため、この問題には適していない。そこで、我々は、低解像度SAR画像と高解像度光学画像の雲を除去するために、Align-CRと名付けた新しいベースラインを設計する。Align-CRは再構成中にマルチモーダルデータとマルチ解像度データを暗黙的に整列させ、雲除去性能を向上させる。実験結果は、提案するAlign-CR法が視覚的な復元品質と意味的な復元品質の両方において最高の性能を与えることを実証しています。このプロジェクトは、https://github.com/zhu-xlab/Planet-CR。これが将来の研究の刺激となることを期待しています。

要約(オリジナル)

In this paper, we introduce Planet-CR, a benchmark dataset for high-resolution cloud removal with multi-modal and multi-resolution data fusion. Planet-CR is the first public dataset for cloud removal to feature globally sampled high resolution optical observations, in combination with paired radar measurements as well as pixel-level land cover annotations. It provides solid basis for exhaustive evaluation in terms of generating visually pleasing textures and semantically meaningful structures. With this dataset, we consider the problem of cloud removal in high resolution optical remote sensing imagery by integrating multi-modal and multi-resolution information. Existing multi-modal data fusion based methods, which assume the image pairs are aligned pixel-to-pixel, are hence not appropriate for this problem. To this end, we design a new baseline named Align-CR to perform the low-resolution SAR image guided high-resolution optical image cloud removal. It implicitly aligns the multi-modal and multi-resolution data during the reconstruction process to promote the cloud removal performance. The experimental results demonstrate that the proposed Align-CR method gives the best performance in both visual recovery quality and semantic recovery quality. The project is available at https://github.com/zhu-xlab/Planet-CR, and hope this will inspire future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL