Binarized Spectral Compressive Imaging

要約

ハイパースペクトル画像 (HSI) 再構成用の既存の深層学習モデルは優れたパフォーマンスを実現しますが、膨大なメモリと計算リソースを備えた強力なハードウェアが必要です。
したがって、これらの方法をリソースが限られたモバイル デバイスに展開することはほとんどできません。
この論文では、スナップショット圧縮イメージング (SCI) システムの圧縮測定から効率的かつ実用的な HSI 復元を行うための新しい方法であるバイナリ化スペクトル再分配ネットワーク (BiSRNet) を提案します。
まず、コンパクトで導入しやすいベースモデルを二値化できるように再設計します。
次に、基本ユニットである Binarized Spectral-Redistribution Convolution (BiSR-Conv) を紹介します。
BiSR-Conv は、アクティベーションを 2 値化する前に HSI 表現を適応的に再分配でき、スケーラブルな双曲線正接関数を使用してバックプロパゲーションの符号関数に近似します。
BiSR-Conv に基づいて、4 つのバイナリ化畳み込みモジュールをカスタマイズして、次元の不一致に対処し、ネットワーク全体に完全精度の情報を伝播します。
最後に、提案された手法を使用して基本モデルを 2 値化することにより、BiSRNet が導出されます。
包括的な定量的および定性的実験により、私たちが提案した BiSRNet が最先端の 2 値化手法を上回り、完全精度アルゴリズムで同等のパフォーマンスを達成することが明らかになりました。
コードとモデルは、https://github.com/caiyuanhao1998/BiSCI および https://github.com/caiyuanhao1998/MST で公開されています。

要約(オリジナル)

Existing deep learning models for hyperspectral image (HSI) reconstruction achieve good performance but require powerful hardwares with enormous memory and computational resources. Consequently, these methods can hardly be deployed on resource-limited mobile devices. In this paper, we propose a novel method, Binarized Spectral-Redistribution Network (BiSRNet), for efficient and practical HSI restoration from compressed measurement in snapshot compressive imaging (SCI) systems. Firstly, we redesign a compact and easy-to-deploy base model to be binarized. Then we present the basic unit, Binarized Spectral-Redistribution Convolution (BiSR-Conv). BiSR-Conv can adaptively redistribute the HSI representations before binarizing activation and uses a scalable hyperbolic tangent function to closer approximate the Sign function in backpropagation. Based on our BiSR-Conv, we customize four binarized convolutional modules to address the dimension mismatch and propagate full-precision information throughout the whole network. Finally, our BiSRNet is derived by using the proposed techniques to binarize the base model. Comprehensive quantitative and qualitative experiments manifest that our proposed BiSRNet outperforms state-of-the-art binarization methods and achieves comparable performance with full-precision algorithms. Code and models are publicly available at https://github.com/caiyuanhao1998/BiSCI and https://github.com/caiyuanhao1998/MST

arxiv情報

提供元, 利用サービス

arxiv.jp, Google