HSR-Diff:Hyperspectral Image Super-Resolution via Conditional Diffusion Models

要約

さまざまなコンピューター ビジョン タスクの実行におけるハイパースペクトル イメージ (HSI) の重要性が証明されているにもかかわらず、その可能性は、複数の物理的要因に起因する空間領域の低解像度 (LR) 特性によって悪影響を受けます。
深層生成モデルの最近の進歩に触発され、高解像度 (HR) マルチスペクトル画像 (MSI) と対応する LR-HSI をマージする条件付き拡散モデル (HSR-Diff) を使用した HSI 超解像度 (SR) アプローチを提案します。
HSR-Diff は、反復的なリファインメントを通じて HR-HSI を生成します。この場合、HR-HSI は純粋なガウス ノイズで初期化され、反復的にリファインされます。
各反復で、ノイズは、HR-MSI および LR-HSI の階層特徴マップに基づいて条件付けされた、さまざまなノイズ レベルでのノイズ除去についてトレーニングされた条件付きノイズ除去トランス (CDF ormer) を使用して除去されます。
さらに、フル解像度画像のグローバル情報を活用するために、プログレッシブ学習戦略が採用されています。
4 つの公開データセットに対して系統的な実験が実施され、HSR-Diff が最先端の手法よりも優れていることが実証されました。

要約(オリジナル)

Despite the proven significance of hyperspectral images (HSIs) in performing various computer vision tasks, its potential is adversely affected by the low-resolution (LR) property in the spatial domain, resulting from multiple physical factors. Inspired by recent advancements in deep generative models, we propose an HSI Super-resolution (SR) approach with Conditional Diffusion Models (HSR-Diff) that merges a high-resolution (HR) multispectral image (MSI) with the corresponding LR-HSI. HSR-Diff generates an HR-HSI via repeated refinement, in which the HR-HSI is initialized with pure Gaussian noise and iteratively refined. At each iteration, the noise is removed with a Conditional Denoising Transformer (CDF ormer) that is trained on denoising at different noise levels, conditioned on the hierarchical feature maps of HR-MSI and LR-HSI. In addition, a progressive learning strategy is employed to exploit the global information of full-resolution images. Systematic experiments have been conducted on four public datasets, demonstrating that HSR-Diff outperforms state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google