Coarse-Fine Spectral-Aware Deformable Convolution For Hyperspectral Image Reconstruction

要約

我々は、スナップショット 2D 測定を使用して空間スペクトル データ キューブをキャプチャし、アルゴリズムを使用して 3D ハイパースペクトル画像 (HSI) を再構成する、符号化開口スナップショット スペクトル イメージング (CASSI) の逆問題を研究します。
ただし、畳み込みニューラル ネットワーク (CNN) に基づく現在の手法では、長距離の依存関係や非局所的な類似性を捕捉するのが困難です。
最近人気のある Transformer ベースの手法は、自己注意によって計算コストが高くなるため、下流のタスクにはあまり導入されていません。
この論文では、変形可能畳み込みネットワーク (DCN) をこのタスクに初めて適用する、Coarse-Fine Spectral-Aware Deformable Convolution Network (CFSDCN) を提案します。
HSI のスパース性を考慮して、その変形可能性を利用して長距離の依存関係と非局所的な類似性を捕捉する変形可能な畳み込みモジュールを設計します。
さらに、粗粒度および細粒度のスペクトル類似性の両方を考慮した新しいスペクトル情報相互作用モジュールを提案します。
広範な実験により、当社の CFSDCN は、シミュレートされた HSI データセットと実際の HSI データセットの両方で、以前の最先端 (SOTA) 手法を大幅に上回るパフォーマンスを示しました。

要約(オリジナル)

We study the inverse problem of Coded Aperture Snapshot Spectral Imaging (CASSI), which captures a spatial-spectral data cube using snapshot 2D measurements and uses algorithms to reconstruct 3D hyperspectral images (HSI). However, current methods based on Convolutional Neural Networks (CNNs) struggle to capture long-range dependencies and non-local similarities. The recently popular Transformer-based methods are poorly deployed on downstream tasks due to the high computational cost caused by self-attention. In this paper, we propose Coarse-Fine Spectral-Aware Deformable Convolution Network (CFSDCN), applying deformable convolutional networks (DCN) to this task for the first time. Considering the sparsity of HSI, we design a deformable convolution module that exploits its deformability to capture long-range dependencies and non-local similarities. In addition, we propose a new spectral information interaction module that considers both coarse-grained and fine-grained spectral similarities. Extensive experiments demonstrate that our CFSDCN significantly outperforms previous state-of-the-art (SOTA) methods on both simulated and real HSI datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google