MSFA-Frequency-Aware Transformer for Hyperspectral Images Demosaicing

要約

マルチスペクトル フィルター アレイ (MSFA) を使用するハイパースペクトル イメージング システムは、各ピクセルで 1 つのスペクトル成分のみをキャプチャします。
ハイパースペクトル デモザイクは、測定されていないコンポーネントを回復するために使用されます。
深層学習手法はこの分野で有望であることが示されていますが、非局所的な依存関係のモデル化が制限されていること、周期的なアーティファクトにリンクされる可能性のある周期的な MSFA パターンが考慮されていないこと、高頻度の回復が困難であることなど、いくつかの課題がまだ残っています。
詳細。
これらの課題に対処するために、このホワイト ペーパーでは、新しいモザイク解除フレームワークである MSFA 周波数認識トランスフォーマー ネットワーク (FDM-Net) を提案します。
FDM-Net は、新しい MSFA 周波数認識マルチヘッド セルフ アテンション メカニズム (MaFormer) とフィルター ベースのフーリエ ゼロ パディング法を統合して、難易度の高いハイパス コンポーネントと比較的容易なローパス コンポーネントを別々に再構築します。
Maformer の利点は、データに存在する MSFA 情報と非ローカル依存関係を活用できることです。
さらに、MSFA 情報を転送し、回復が困難な周波数成分のトレーニングを強化するために、共同空間および周波数損失を導入します。
私たちの実験結果は、FDM-Net が 6dB PSNR で最先端の方法よりも優れており、高忠実度の詳細をうまく再構築することを示しています。

要約(オリジナル)

Hyperspectral imaging systems that use multispectral filter arrays (MSFA) capture only one spectral component in each pixel. Hyperspectral demosaicing is used to recover the non-measured components. While deep learning methods have shown promise in this area, they still suffer from several challenges, including limited modeling of non-local dependencies, lack of consideration of the periodic MSFA pattern that could be linked to periodic artifacts, and difficulty in recovering high-frequency details. To address these challenges, this paper proposes a novel de-mosaicing framework, the MSFA-frequency-aware Transformer network (FDM-Net). FDM-Net integrates a novel MSFA-frequency-aware multi-head self-attention mechanism (MaFormer) and a filter-based Fourier zero-padding method to reconstruct high pass components with greater difficulty and low pass components with relative ease, separately. The advantage of Maformer is that it can leverage the MSFA information and non-local dependencies present in the data. Additionally, we introduce a joint spatial and frequency loss to transfer MSFA information and enhance training on frequency components that are hard to recover. Our experimental results demonstrate that FDM-Net outperforms state-of-the-art methods with 6dB PSNR, and reconstructs high-fidelity details successfully.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google