SpikeSMOKE: Spiking Neural Networks for Monocular 3D Object Detection with Cross-Scale Gated Coding

要約

3Dオブジェクト検出のための低エネルギー消費は、自律運転などの分野での幅広い用途でのエネルギー消費が増加するため、重要な研究分野です。
低電力消費特性を備えたスパイクニューラルネットワーク（SNN）は、この研究に新しいソリューションを提供できます。
したがって、SNNSを単眼3Dオブジェクトの検出に適用し、このペーパーでSpikesmokeアーキテクチャを提案します。これは、低電力単眼3Dオブジェクト検出の新しい試みです。
私たち全員が知っているように、SNNの離散信号は情報損失を生成し、人工ニューラルネットワーク（ANN）と比較して特徴発現能力を制限します。この問題に対処するために、生物学的ニューロンシナプスのフィルタリングメカニズムに触発され、クロススケールゲートコーディングメカニズム（CSGC）を追加することができます。
計算とトレーニングの速度を上げると、スパイクコンピューティングパラダイムと可能な限り最高の検出パフォーマンスを維持できる新しい軽量残基ブロックを提示します。
3Dオブジェクト検出下でのベースラインスパイクスモークと比較して、CSGCを使用した提案されたスパイクショークは、それぞれ0.7 IOU界面下場でAP | R11によるKitti自律運転データセットで11.78（+2.82、Easy）、10.69（+3.2、中程度）、および10.48（+3.17、ハード）を達成できます。
Spikesmokeの結果は、煙の結果と比較してエネルギー消費を大幅に削減できることに注意することが重要です。
たとえば、ハードカテゴリでエネルギー消費量を72.2％削減できますが、検出性能はわずか4％減少します。
Spikesmoke-L（軽量）は、煙と比較してパラメーターの量をさらに3倍減らし、10倍減らすことができます。

要約(オリジナル)

Low energy consumption for 3D object detection is an important research area because of the increasing energy consumption with their wide application in fields such as autonomous driving. The spiking neural networks (SNNs) with low-power consumption characteristics can provide a novel solution for this research. Therefore, we apply SNNs to monocular 3D object detection and propose the SpikeSMOKE architecture in this paper, which is a new attempt for low-power monocular 3D object detection. As we all know, discrete signals of SNNs will generate information loss and limit their feature expression ability compared with the artificial neural networks (ANNs).In order to address this issue, inspired by the filtering mechanism of biological neuronal synapses, we propose a cross-scale gated coding mechanism(CSGC), which can enhance feature representation by combining cross-scale fusion of attentional methods and gated filtering mechanisms.In addition, to reduce the computation and increase the speed of training, we present a novel light-weight residual block that can maintain spiking computing paradigm and the highest possible detection performance. Compared to the baseline SpikeSMOKE under the 3D Object Detection, the proposed SpikeSMOKE with CSGC can achieve 11.78 (+2.82, Easy), 10.69 (+3.2, Moderate), and 10.48 (+3.17, Hard) on the KITTI autonomous driving dataset by AP|R11 at 0.7 IoU threshold, respectively. It is important to note that the results of SpikeSMOKE can significantly reduce energy consumption compared to the results on SMOKE. For example,the energy consumption can be reduced by 72.2% on the hard category, while the detection performance is reduced by only 4%. SpikeSMOKE-L (lightweight) can further reduce the amount of parameters by 3 times and computation by 10 times compared to SMOKE.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google