Learning to Pan-sharpening with Memories of Spatial Details

要約

パンシャープニングは、リモート センシング システムで最も一般的に使用される手法の 1 つであり、パンクロマティック画像の空間詳細をマルチスペクトル画像 (MS) に注入して、高解像度のマルチスペクトル画像を取得することを目的としています。
ディープラーニングは、その強力なフィッティング能力と効率的な特徴抽出により広く注目を集めているため、優れたパフォーマンスを実現するためにさまざまなパンシャープニング手法が提案されています。
ただし、現在のパンシャープン方法では通常、入力としてパンクロマティック (PAN) イメージと MS イメージのペアが必要なため、シナリオによっては使用が制限されます。
この問題に対処するために、この論文では、PAN 画像からの空間的詳細が主に高周波キューである、つまりエッジが入力 PAN 画像の輪郭を反映していることを観察します。
これは、いくつかのベース エッジを保存し、それらを介して対応する PAN 画像の輪郭を構成するための PAN に依存しない表現を開発する動機になります。
その結果、推論時に MS 画像のみを使用してパンシャープニング タスクを実行できます。
この目的を達成するために、メモリベースのネットワークは、トレーニング段階で空間の詳細を抽出して記憶するように適合されており、推論時に PAN 画像から空間情報を取得するプロセスを置き換えるために使用されます。これは、メモリベースの空間詳細ネットワーク (MSDN) と呼ばれます。
）。
最後に、提案された MSDN モジュールを既存の深層学習ベースのパンシャープン手法に統合して、エンドツーエンドのパンシャープン ネットワークを実現します。
Gaofen1 衛星と WorldView-4 衛星での大規模な実験により、私たちの方法が PAN 画像なしで良好な空間詳細を構築し、最高のパフォーマンスを達成できることを検証しました。
コードは https://github.com/Zhao-Tian-yi/Learning-to-Pan-sharpening-with-Memories-of-Spatial-Details.git で入手できます。

要約(オリジナル)

Pan-sharpening, as one of the most commonly used techniques in remote sensing systems, aims to inject spatial details from panchromatic images into multispectral images (MS) to obtain high-resolution multispectral images. Since deep learning has received widespread attention because of its powerful fitting ability and efficient feature extraction, a variety of pan-sharpening methods have been proposed to achieve remarkable performance. However, current pan-sharpening methods usually require the paired panchromatic (PAN) and MS images as input, which limits their usage in some scenarios. To address this issue, in this paper we observe that the spatial details from PAN images are mainly high-frequency cues, i.e., the edges reflect the contour of input PAN images. This motivates us to develop a PAN-agnostic representation to store some base edges, so as to compose the contour for the corresponding PAN image via them. As a result, we can perform the pan-sharpening task with only the MS image when inference. To this end, a memory-based network is adapted to extract and memorize the spatial details during the training phase and is used to replace the process of obtaining spatial information from PAN images when inference, which is called Memory-based Spatial Details Network (MSDN). Finally, we integrate the proposed MSDN module into the existing deep learning-based pan-sharpening methods to achieve an end-to-end pan-sharpening network. With extensive experiments on the Gaofen1 and WorldView-4 satellites, we verify that our method constructs good spatial details without PAN images and achieves the best performance. The code is available at https://github.com/Zhao-Tian-yi/Learning-to-Pan-sharpening-with-Memories-of-Spatial-Details.git.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google