Underwater Image Enhancement by Convolutional Spiking Neural Networks

要約

水中画像強化（UIE）は、自律的な視覚ベースのナビゲーションを含む海洋アプリケーションの基本です。
畳み込みニューラルネットワーク（CNN）およびビジョントランスの高度なUIEパフォーマンスを使用した深い学習方法。
最近、スパイクニューラルネットワーク（SNN）は、軽量設計、エネルギー効率、およびスケーラビリティに注目を集めています。
このペーパーでは、水中画像の可視性を改善する最初のSNNベースのUIEアルゴリズムであるUie-SNNを紹介します。
UIE-SNNは、スキップ接続を備えた19層の畳み込みエンコーダーデコーダーフレームワークであり、Sulrogate Gradientベースのバックプロパゲーション（BPTT）戦略を使用して直接トレーニングされています。
エネルギー消費がモデル依存である従来の学習ベースのアーキテクチャとは対照的に、UIE-SNNアーキテクチャのユニークな利点であるエネルギー削減に対するトレーニングデータセットの影響を調査および検証します。
uie-snnは、潜在空間表現の損失関数を最適化して、透明な水中画像を再構築します。
当社のアルゴリズムは、PSNRおよび縮小されたタイムステップ（$ t = 5 $）でのPSNRおよび構造類似性インデックス（SSIM）と85ドルのエネルギー消費の観点から、非スパイク対応法と同等の機能で実行されます。
このアルゴリズムは、2つの公開されているベンチマークデータセット、UIEBとEUVPでトレーニングされ、UIEB、EUVP、LSUI、U45、およびカスタムUIEデータセットの目に見えない画像でテストされています。
UIE-SNNアルゴリズムは、\（17.7801〜db \）および\（0.7454 \）のssimのpsnrをuiebで達成し、\（23.1725〜db \）およびssim of \（0.7890 \）の\（23.1725〜db \）のpsnrを達成します。
UIE-SNNは、非スパイクカウンターパート（\（218.88 \）およびエネルギー= \（1.0068〜J \））と比較して、より少ない演算子（\（147.49 \）GSOPS）とエネルギー（\（0.1327〜J \））でこのアルゴリズムパフォーマンスを達成します。
既存のSOTA UIEメソッドと比較して、UIE-SNNはエネルギー効率の平均（6.5 \ Times \）の改善を達成します。
ソースコードは、\ href {https://github.com/vidya-rejul/uie-snn.git} {uie-snn}で利用できます。

要約(オリジナル)

Underwater image enhancement (UIE) is fundamental for marine applications, including autonomous vision-based navigation. Deep learning methods using convolutional neural networks (CNN) and vision transformers advanced UIE performance. Recently, spiking neural networks (SNN) have gained attention for their lightweight design, energy efficiency, and scalability. This paper introduces UIE-SNN, the first SNN-based UIE algorithm to improve visibility of underwater images. UIE-SNN is a 19- layered convolutional spiking encoder-decoder framework with skip connections, directly trained using surrogate gradient-based backpropagation through time (BPTT) strategy. We explore and validate the influence of training datasets on energy reduction, a unique advantage of UIE-SNN architecture, in contrast to the conventional learning-based architectures, where energy consumption is model-dependent. UIE-SNN optimizes the loss function in latent space representation to reconstruct clear underwater images. Our algorithm performs on par with its non-spiking counterpart methods in terms of PSNR and structural similarity index (SSIM) at reduced timesteps ($T=5$) and energy consumption of $85\%$. The algorithm is trained on two publicly available benchmark datasets, UIEB and EUVP, and tested on unseen images from UIEB, EUVP, LSUI, U45, and our custom UIE dataset. The UIE-SNN algorithm achieves PSNR of \(17.7801~dB\) and SSIM of \(0.7454\) on UIEB, and PSNR of \(23.1725~dB\) and SSIM of \(0.7890\) on EUVP. UIE-SNN achieves this algorithmic performance with fewer operators (\(147.49\) GSOPs) and energy (\(0.1327~J\)) compared to its non-spiking counterpart (GFLOPs = \(218.88\) and Energy=\(1.0068~J\)). Compared with existing SOTA UIE methods, UIE-SNN achieves an average of \(6.5\times\) improvement in energy efficiency. The source code is available at \href{https://github.com/vidya-rejul/UIE-SNN.git}{UIE-SNN}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google