A Spectral Diffusion Prior for Hyperspectral Image Super-Resolution

要約

融合ベースのハイパースペクトル画像 (HSI) 超解像度は、低空間解像度の HSI と高空間解像度のマルチスペクトル画像を融合することにより、高空間解像度の HSI を生成することを目的としています。
このような HSI 超解像度プロセスは、逆問題としてモデル化できます。この場合、望ましい解決策を得るには事前の知識が不可欠です。
拡散モデルの成功を動機として、我々は融合ベースの HSI 超解像のための新しいスペクトル拡散プリアを提案します。
具体的には、まずスペクトル生成問題を調査し、スペクトル データ分布をモデル化するスペクトル拡散モデルを設計します。
次に、最大事後確率のフレームワークで、逆生成プロセス中にすべての 2 つの隣接する状態の間の遷移情報を保持し、それによって訓練されたスペクトル拡散モデルの知識を正則化項の形式で融合問題に埋め込みます。
最後に、最終的な最適化問題の各生成ステップをその部分問題として扱い、Adam を使用してこれらの部分問題を逆の順序で解決します。
合成データセットと実際のデータセットの両方で実施さ​​れた実験結果は、提案されたアプローチの有効性を示しています。
提案されたアプローチのコードは https://github.com/liuofficial/SDP で入手できます。

要約(オリジナル)

Fusion-based hyperspectral image (HSI) super-resolution aims to produce a high-spatial-resolution HSI by fusing a low-spatial-resolution HSI and a high-spatial-resolution multispectral image. Such a HSI super-resolution process can be modeled as an inverse problem, where the prior knowledge is essential for obtaining the desired solution. Motivated by the success of diffusion models, we propose a novel spectral diffusion prior for fusion-based HSI super-resolution. Specifically, we first investigate the spectrum generation problem and design a spectral diffusion model to model the spectral data distribution. Then, in the framework of maximum a posteriori, we keep the transition information between every two neighboring states during the reverse generative process, and thereby embed the knowledge of trained spectral diffusion model into the fusion problem in the form of a regularization term. At last, we treat each generation step of the final optimization problem as its subproblem, and employ the Adam to solve these subproblems in a reverse sequence. Experimental results conducted on both synthetic and real datasets demonstrate the effectiveness of the proposed approach. The code of the proposed approach will be available on https://github.com/liuofficial/SDP.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google