PanFlowNet: A Flow-Based Deep Network for Pan-sharpening

要約

パンシャープニングは、低解像度マルチスペクトル (LRMS) 画像のスペクトル情報と高解像度パンクロマティック (PAN) 画像のテクスチャ詳細を統合することにより、高解像度マルチスペクトル (HRMS) 画像を生成することを目的としています。
これは本質的に、多様な HRMS 画像が LRMS 画像に劣化する可能性がある超解像度 (SR) タスクの不適切な性質を継承しています。
ただし、既存の深層学習ベースの方法では、決定論的マッピングを使用して LRMS 画像と PAN 画像から 1 つの HRMS 画像のみを復元するため、HRMS 画像の多様性が無視されます。
この論文では、この不適切な問題を軽減するために、決定論的なマッピングを学習する代わりに、LRMS 画像と PAN 画像から与えられた HRMS 画像の条件付き分布を直接学習するフローベースのパンシャープニング ネットワーク (PanFlowNet) を提案します。
具体的には、まずこの未知の条件付き分布を可逆ネットワークによって所定のガウス分布に変換します。これにより、条件付き分布を明示的に定義できます。
次に、可逆条件付きアフィン結合ブロック (CACB) を設計し、一連の CACB をスタックすることで PanFlowNet のアーキテクチャをさらに構築します。
最後に、PanFlowNet は、トレーニング セットが与えられた条件付き分布の対数尤度を最大化することによってトレーニングされ、その後、さまざまな HRMS 画像を予測するために使用できます。
実験結果は、提案された PanFlowNet が LRMS 画像と PAN 画像を与えられてさまざまな HRMS 画像を生成できることを検証します。
さらに、さまざまな種類の衛星データセットでの実験結果も、他の最先端の手法と比較した PanFlowNet の優位性を視覚的にも定量的にも示しています。

要約(オリジナル)

Pan-sharpening aims to generate a high-resolution multispectral (HRMS) image by integrating the spectral information of a low-resolution multispectral (LRMS) image with the texture details of a high-resolution panchromatic (PAN) image. It essentially inherits the ill-posed nature of the super-resolution (SR) task that diverse HRMS images can degrade into an LRMS image. However, existing deep learning-based methods recover only one HRMS image from the LRMS image and PAN image using a deterministic mapping, thus ignoring the diversity of the HRMS image. In this paper, to alleviate this ill-posed issue, we propose a flow-based pan-sharpening network (PanFlowNet) to directly learn the conditional distribution of HRMS image given LRMS image and PAN image instead of learning a deterministic mapping. Specifically, we first transform this unknown conditional distribution into a given Gaussian distribution by an invertible network, and the conditional distribution can thus be explicitly defined. Then, we design an invertible Conditional Affine Coupling Block (CACB) and further build the architecture of PanFlowNet by stacking a series of CACBs. Finally, the PanFlowNet is trained by maximizing the log-likelihood of the conditional distribution given a training set and can then be used to predict diverse HRMS images. The experimental results verify that the proposed PanFlowNet can generate various HRMS images given an LRMS image and a PAN image. Additionally, the experimental results on different kinds of satellite datasets also demonstrate the superiority of our PanFlowNet compared with other state-of-the-art methods both visually and quantitatively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google