Generative Adversarial Networks for Spatio-Spectral Compression of Hyperspectral Images

要約

ハイパースペクトル画像（HSI）の圧縮のためのディープラーニングに基づくモデルの開発は、ハイパースペクトルデータのアーカイブが急増していることから、リモートセンシングにおいて最近大きな注目を集めている。既存のモデルの多くは、スペクトル圧縮または空間圧縮のいずれかを実現しており、HSIに存在する時空間スペクトルの冗長性を共同で考慮していない。この問題に対処するため、本論文では（空間圧縮問題で高い効果が実証されている）High Fidelity Compression (HiFiC)モデルに注目し、HSIの時空間スペクトル圧縮を実行するために適応させる。具体的には、i) Squeeze and Excitation(SE)ブロックを用いたHiFiC(HiFiC$_{SE}$と表記)、ii) 3次元畳み込みを用いたHiFiC(HiFiC$_{3D}$と表記)の2つの新しいモデルをHSIの圧縮の枠組みに導入する。HiFiC$_{SE}$とHiFiC$_{3D}$の空間スペクトル冗長性圧縮における有効性を、チャネルアテンションと相互依存性分析を用いて解析する。実験結果は、提案モデルが、より高い再構成品質で、より低いビットレートで画像を再構成しながら、時空間スペクトル圧縮を行う上で有効であることを示している。提案モデルのコードは https://git.tu-berlin.de/rsim/HSI-SSC で公開されている。

要約(オリジナル)

The development of deep learning-based models for the compression of hyperspectral images (HSIs) has recently attracted great attention in remote sensing due to the sharp growing of hyperspectral data archives. Most of the existing models achieve either spectral or spatial compression, and do not jointly consider the spatio-spectral redundancies present in HSIs. To address this problem, in this paper we focus our attention on the High Fidelity Compression (HiFiC) model (which is proven to be highly effective for spatial compression problems) and adapt it to perform spatio-spectral compression of HSIs. In detail, we introduce two new models: i) HiFiC using Squeeze and Excitation (SE) blocks (denoted as HiFiC$_{SE}$); and ii) HiFiC with 3D convolutions (denoted as HiFiC$_{3D}$) in the framework of compression of HSIs. We analyze the effectiveness of HiFiC$_{SE}$ and HiFiC$_{3D}$ in compressing the spatio-spectral redundancies with channel attention and inter-dependency analysis. Experimental results show the efficacy of the proposed models in performing spatio-spectral compression, while reconstructing images at reduced bitrates with higher reconstruction quality. The code of the proposed models is publicly available at https://git.tu-berlin.de/rsim/HSI-SSC .

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL