Hyperspectral and Multispectral Image Fusion Using the Conditional Denoising Diffusion Probabilistic Model

要約

ハイパースペクトル画像 (HSI) は、物質の特性を反映した大量のスペクトル情報を持っていますが、イメージング技術の限界により空間解像度は低くなります。
これを補完するのが、空間解像度は高いがスペクトル帯域が不十分な、RGB 画像などのマルチスペクトル画像 (MSI) です。
ハイパースペクトル画像とマルチスペクトル画像の融合は、高い空間解像度と高いスペクトル解像度の両方を備えた理想的な画像をコスト効率よく取得するための技術です。
既存の HSI および MSI 融合アルゴリズムの多くは、既知の画像劣化モデルに依存していますが、実際には利用できないことがよくあります。
この論文では、DDPM-Fus と呼ばれる、条件付きノイズ除去拡散確率モデルに基づくディープフュージョン手法を提案します。
具体的には、DDPM-Fus には、高空間解像度 HSI (HrHSI) にガウス ノイズを徐々に追加する順拡散プロセスと、対応する高空間解像度 MSI (
HrMSI) および低空間解像度 HSI (LrHSI)。
トレーニングが完了すると、提案された DDPM-Fus は、テスト HrMSI と LrHSI に対して逆のプロセスを実装して、融合された HrHSI を生成します。
1 つの屋内センシング データセットと 2 つのリモート センシング データセットに対して行われた実験では、他の高度な深層学習ベースの融合手法と比較した場合、提案されたモデルの優位性が示されています。
この作業のコードは、再現性を確保するために、次のアドレスでオープンソース化されます: https://github.com/shuaikaishi/DDPMFus。

要約(オリジナル)

Hyperspectral images (HSI) have a large amount of spectral information reflecting the characteristics of matter, while their spatial resolution is low due to the limitations of imaging technology. Complementary to this are multispectral images (MSI), e.g., RGB images, with high spatial resolution but insufficient spectral bands. Hyperspectral and multispectral image fusion is a technique for acquiring ideal images that have both high spatial and high spectral resolution cost-effectively. Many existing HSI and MSI fusion algorithms rely on known imaging degradation models, which are often not available in practice. In this paper, we propose a deep fusion method based on the conditional denoising diffusion probabilistic model, called DDPM-Fus. Specifically, the DDPM-Fus contains the forward diffusion process which gradually adds Gaussian noise to the high spatial resolution HSI (HrHSI) and another reverse denoising process which learns to predict the desired HrHSI from its noisy version conditioning on the corresponding high spatial resolution MSI (HrMSI) and low spatial resolution HSI (LrHSI). Once the training is completes, the proposed DDPM-Fus implements the reverse process on the test HrMSI and LrHSI to generate the fused HrHSI. Experiments conducted on one indoor and two remote sensing datasets show the superiority of the proposed model when compared with other advanced deep learningbased fusion methods. The codes of this work will be opensourced at this address: https://github.com/shuaikaishi/DDPMFus for reproducibility.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google