Deep Diversity-Enhanced Feature Representation of Hyperspectral Images

要約

この論文では、特徴の多様性に基づいて、ハイパースペクトル (HS) 画像の高次元の空間スペクトル情報を効率的かつ効果的に埋め込む問題を研究します。
具体的には、特徴の多様性が展開されたカーネル行列のランクと相関しているという理論的定式化に基づいて、ランクの上限を高めるためにトポロジーを変更することで 3D 畳み込みを修正します。
この修正により、ランク拡張された空間スペクトル対称畳み込みセット (ReS$^3$-ConvSet) が生成されます。これは、多様で強力な特徴表現を学習するだけでなく、ネットワーク パラメーターも保存します。
さらに、要素間の独立性を最大化するために特徴マップに直接作用する新しい多様性を意識した正則化 (DA-Reg) 項も提案します。
提案された ReS$^3$-ConvSet と DA-Reg の優位性を実証するために、これらをノイズ除去、空間超解像、分類などのさまざまな HS 画像処理および分析タスクに適用します。
広範な実験により、提案されたアプローチが最先端の方法よりも定量的および定性的に大幅に優れていることが示されています。
コードは https://github.com/jinnh/ReSSS-ConvSet で公開されています。

要約(オリジナル)

In this paper, we study the problem of efficiently and effectively embedding the high-dimensional spatio-spectral information of hyperspectral (HS) images, guided by feature diversity. Specifically, based on the theoretical formulation that feature diversity is correlated with the rank of the unfolded kernel matrix, we rectify 3D convolution by modifying its topology to enhance the rank upper-bound. This modification yields a rank-enhanced spatial-spectral symmetrical convolution set (ReS$^3$-ConvSet), which not only learns diverse and powerful feature representations but also saves network parameters. Additionally, we also propose a novel diversity-aware regularization (DA-Reg) term that directly acts on the feature maps to maximize independence among elements. To demonstrate the superiority of the proposed ReS$^3$-ConvSet and DA-Reg, we apply them to various HS image processing and analysis tasks, including denoising, spatial super-resolution, and classification. Extensive experiments show that the proposed approaches outperform state-of-the-art methods both quantitatively and qualitatively to a significant extent. The code is publicly available at https://github.com/jinnh/ReSSS-ConvSet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google