Generative Adversarial Networks for Spatio-Spectral Compression of Hyperspectral Images

要約

ディープラーニングベースの画像圧縮方法により、従来のコーデックと比較して高いレート歪みパフォーマンスが実現しました。
最近、敵対的生成ネットワーク (GAN) ベースの圧縮モデル、たとえば High Fidelity Compression (HiFiC) が、コンピューター ビジョン コミュニティで大きな注目を集めています。
ただし、これらの研究のほとんどは空間圧縮のみを目的としており、ハイパースペクトル画像 (HSI) で観察される空間スペクトルの重複性は考慮されていません。
この問題に対処するために、この論文では、HiFiC 空間圧縮モデルを適応させて、HSI の空間スペクトル圧縮を実行します。
この目的を達成するために、我々は 2 つの新しいモデルを導入します。 i) Squeeze および Excitation (SE) ブロックを使用する HiFiC (HiFiC$_{SE}$ として示されます)。
ii) 3D コンボリューションを備えた HiFiC (HiFiC$_{3D}$ と表記)。
チャネル アテンションと相互依存性分析を使用して、空間スペクトルの冗長性を活用する際の HiFiC$_{SE}$ と HiFiC$_{3D}$ の有効性を分析します。
実験結果は、JPEG 2000 および標準 HiFiC 空間圧縮モデルと比較して、ビットレートを低減し、より高い再構築品質で空間スペクトル圧縮および再構築を実行する際の、提案されたモデルの有効性を示しています。
提案されたモデルのコードは https://git.tu-berlin.de/rsim/HSI-SSC で公開されています。

要約(オリジナル)

Deep learning-based image compression methods have led to high rate-distortion performances compared to traditional codecs. Recently, Generative Adversarial Networks (GANs)-based compression models, e.g., High Fidelity Compression (HiFiC), have attracted great attention in the computer vision community. However, most of these works aim for spatial compression only and do not consider the spatio-spectral redundancies observed in hyperspectral images (HSIs). To address this problem, in this paper, we adapt the HiFiC spatial compression model to perform spatio-spectral compression of HSIs. To this end, we introduce two new models: i) HiFiC using Squeeze and Excitation (SE) blocks (denoted as HiFiC$_{SE}$); and ii) HiFiC with 3D convolutions (denoted as HiFiC$_{3D}$). We analyze the effectiveness of HiFiC$_{SE}$ and HiFiC$_{3D}$ in exploiting the spatio-spectral redundancies with channel attention and inter-dependency analysis. Experimental results show the efficacy of the proposed models in performing spatio-spectral compression and reconstruction at reduced bitrates and higher reconstruction quality when compared to JPEG 2000 and the standard HiFiC spatial compression model. The code of the proposed models is publicly available at https://git.tu-berlin.de/rsim/HSI-SSC .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google