Unsupervised Hyperspectral and Multispectral Images Fusion Based on the Cycle Consistency

要約

マテリアルの特性を反映した豊富なスペクトル情報を含むハイパースペクトル イメージ (HSI) は、通常、ハードウェアの制限により空間解像度が低くなります。
一方、RGB 画像などのマルチスペクトル画像 (MSI) は、高い空間解像度を持っていますが、スペクトル シグネチャが不十分です。
ハイパースペクトル画像とマルチスペクトル画像の融合は、高空間解像度画像と高スペクトル解像度画像の両方を取得する上で、費用対効果が高く効率的です。
従来の HSI および MSI 融合アルゴリズムの多くは、既知の空間劣化パラメータ、つまり、点広がり関数、スペクトル劣化パラメータ、スペクトル応答関数、またはそれらの両方に依存しています。
別のクラスの深層学習ベースのモデルは、高空間解像度 HSI のグラウンド トゥルースに依存しており、教師付き方法で動作する場合には大量のペアのトレーニング画像が必要です。
これらのモデルは両方とも、実際の核融合シナリオでは制限されています。
この論文では、CycFusion と呼ばれる、サイクル一貫性に基づいた教師なし HSI と MSI の融合モデルを提案します。
CycFusion は、低空間解像度 HSI (LrHSI) と高空間解像度 MSI (HrMSI) の間の領域変換を学習し、目的の高空間解像度 HSI (HrHSI) が変換ネットワークの中間特徴マップであると見なされます。
CycFusion は、単一変換の限界マッチングと二重変換のサイクル一貫性の目的関数を使用してトレーニングできます。
さらに、推定された PSF と SRF は事前トレーニング重みとしてモデルに埋め込まれており、提案したモデルの実用性がさらに向上しています。
いくつかのデータセットに対して行われた実験では、私たちが提案したモデルが、比較されたすべての教師なし融合手法よりも優れていることが示されています。
この論文のコードは、再現性を確保するために、次のアドレスから入手できます: https://github.com/shuaikaishi/CycFusion。

要約(オリジナル)

Hyperspectral images (HSI) with abundant spectral information reflected materials property usually perform low spatial resolution due to the hardware limits. Meanwhile, multispectral images (MSI), e.g., RGB images, have a high spatial resolution but deficient spectral signatures. Hyperspectral and multispectral image fusion can be cost-effective and efficient for acquiring both high spatial resolution and high spectral resolution images. Many of the conventional HSI and MSI fusion algorithms rely on known spatial degradation parameters, i.e., point spread function, spectral degradation parameters, spectral response function, or both of them. Another class of deep learning-based models relies on the ground truth of high spatial resolution HSI and needs large amounts of paired training images when working in a supervised manner. Both of these models are limited in practical fusion scenarios. In this paper, we propose an unsupervised HSI and MSI fusion model based on the cycle consistency, called CycFusion. The CycFusion learns the domain transformation between low spatial resolution HSI (LrHSI) and high spatial resolution MSI (HrMSI), and the desired high spatial resolution HSI (HrHSI) are considered to be intermediate feature maps in the transformation networks. The CycFusion can be trained with the objective functions of marginal matching in single transform and cycle consistency in double transforms. Moreover, the estimated PSF and SRF are embedded in the model as the pre-training weights, which further enhances the practicality of our proposed model. Experiments conducted on several datasets show that our proposed model outperforms all compared unsupervised fusion methods. The codes of this paper will be available at this address: https: //github.com/shuaikaishi/CycFusion for reproducibility.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google