Inter and Intra Prior Learning-based Hyperspectral Image Reconstruction Using Snapshot SWIR Metasurface

要約

1{\μ}m から 2.5{\μ}m の範​​囲の短波赤外線（SWIR）スペクトル情報は、シーン情報を取得する際の従来のカラー カメラの制限を克服します。
しかし、従来の SWIR ハイパースペクトル イメージング システムは、セットアップがかさばり、取得速度が遅いため、課題に直面しています。
この研究では、メタサーフェス フィルターに基づくスナップショット SWIR ハイパースペクトル イメージング システムと、これらのフィルター間で最も低い相関係数を達成するための対応するフィルター選択方法を紹介します。
このシステムは、コンパクトなサイズとスナップショット イメージングの利点を提供します。
我々は、事前学習とステージ間情報相互作用の間のギャップを埋める、高品質の SWIR ハイパースペクトル画像再構成を実現するための、新しい内部および内部事前学習展開フレームワークを提案します。
さらに、マルチスケールエンコーダ特徴のコンテキスト相関を適応的に転送し、デコーダでの詳細な情報損失を防ぐ適応特徴転送メカニズムを設計します。
実験結果は、私たちの方法が既存の方法よりも高速かつ優れたパフォーマンスでハイパースペクトル画像を再構成できることを示しています。

要約(オリジナル)

Shortwave-infrared(SWIR) spectral information, ranging from 1 {\mu}m to 2.5{\mu}m, overcomes the limitations of traditional color cameras in acquiring scene information. However, conventional SWIR hyperspectral imaging systems face challenges due to their bulky setups and low acquisition speeds. This work introduces a snapshot SWIR hyperspectral imaging system based on a metasurface filter and a corresponding filter selection method to achieve the lowest correlation coefficient among these filters. This system offers the advantages of compact size and snapshot imaging. We propose a novel inter and intra prior learning unfolding framework to achieve high-quality SWIR hyperspectral image reconstruction, which bridges the gap between prior learning and cross-stage information interaction. Additionally, We design an adaptive feature transfer mechanism to adaptively transfer the contextual correlation of multi-scale encoder features to prevent detailed information loss in the decoder. Experiment results demonstrate that our method can reconstruct hyperspectral images with high speed and superior performance over existing methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google