Deep Spiking-UNet for Image Processing

要約

シンプルかつ効率的なアーキテクチャで知られる U-Net は、画像処理タスクに広く利用されており、特にニューロモーフィック チップへの展開に適しています。
このペーパーでは、スパイキング ニューラル ネットワーク (SNN) の能力と U-Net アーキテクチャを組み合わせた、画像処理用の新しいコンセプトである Spiking-UNet を紹介します。
効率的な Spiking-UNet を実現するには、スパイクを介したネットワーク内での高忠実度の情報伝播の確保と、効果的なトレーニング戦略の策定という 2 つの主な課題に直面します。
情報損失の問題に対処するために、Spiking-UNet 内での情報伝達の効率を向上させるマルチ閾値スパイキング ニューロンを導入します。
トレーニング戦略には、事前トレーニングされた U-Net モデルを活用する変換および微調整パイプラインを採用します。
変換プロセス中に、スキップ接続を使用すると、さまざまな部分にわたるデータ分散に大きなばらつきが観察されます。
したがって、不正確な発火速度を防ぐために、接続ごとの正規化方法を提案します。
さらに、変換されたモデルを微調整するフローベースのトレーニング方法を採用し、パフォーマンスを維持しながらタイムステップを短縮します。
実験結果は、画像のセグメンテーションとノイズ除去に関して、当社の Spiking-UNet が非スパイクの同等のパフォーマンスを達成し、既存の SNN 手法を上回ることを示しています。
微調整を行わずに変換された Spiking-UNet と比較して、当社の Spiking-UNet は推論時間を約 90\% 短縮します。
この研究は、画像処理における SNN の適用範囲を広げ、ニューロモーフィック エンジニアリングの分野におけるさらなる探求を刺激することが期待されます。
Spiking-UNet 実装のコードは、https://github.com/SNNresearch/Spiking-UNet で入手できます。

要約(オリジナル)

U-Net, known for its simple yet efficient architecture, is widely utilized for image processing tasks and is particularly suitable for deployment on neuromorphic chips. This paper introduces the novel concept of Spiking-UNet for image processing, which combines the power of Spiking Neural Networks (SNNs) with the U-Net architecture. To achieve an efficient Spiking-UNet, we face two primary challenges: ensuring high-fidelity information propagation through the network via spikes and formulating an effective training strategy. To address the issue of information loss, we introduce multi-threshold spiking neurons, which improve the efficiency of information transmission within the Spiking-UNet. For the training strategy, we adopt a conversion and fine-tuning pipeline that leverage pre-trained U-Net models. During the conversion process, significant variability in data distribution across different parts is observed when utilizing skip connections. Therefore, we propose a connection-wise normalization method to prevent inaccurate firing rates. Furthermore, we adopt a flow-based training method to fine-tune the converted models, reducing time steps while preserving performance. Experimental results show that, on image segmentation and denoising, our Spiking-UNet achieves comparable performance to its non-spiking counterpart, surpassing existing SNN methods. Compared with the converted Spiking-UNet without fine-tuning, our Spiking-UNet reduces inference time by approximately 90\%. This research broadens the application scope of SNNs in image processing and is expected to inspire further exploration in the field of neuromorphic engineering. The code for our Spiking-UNet implementation is available at https://github.com/SNNresearch/Spiking-UNet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google