Deep Directly-Trained Spiking Neural Networks for Object Detection

要約

スパイキング ニューラル ネットワーク (SNN) は、時空間ダイナミクスで情報をエンコードする、脳からインスピレーションを得たエネルギー効率の高いモデルです。
最近、直接トレーニングされたディープ SNN は、非常に少ないタイム ステップで分類タスクで高いパフォーマンスを達成することに大きな成功を収めています。
ただし、物体検出の回帰タスク用に直接トレーニングされた SNN をどのように設計するかは依然として難しい問題です。
この問題に対処するために、物体検出のための新しい直接トレーニングされた SNN フレームワークである EMS-YOLO を提案します。これは、ANN-SNN 変換戦略ではなく、物体検出のためのサロゲート勾配を使用して深い SNN をトレーニングする最初の試みです。
具体的には、低消費電力で直接トレーニングされた SNN の深さを効果的に拡張できるフルスパイク残差ブロック EMS-ResNet を設計します。
さらに、EMS-ResNet が勾配の消失または爆発を回避できることを理論的に分析し、証明します。
結果は、私たちのアプローチが、極めて少ないタイム ステップ (わずか 4 タイム ステップ) で最先端の ANN-SNN 変換手法 (少なくとも 500 タイム ステップ) を上回るパフォーマンスを発揮することを示しています。
私たちのモデルは、フレームベースの COCO データセットとイベントベースの Gen1 データセットで 5.83 分の 1 のエネルギー消費をしながら、同じアーキテクチャの ANN と同等のパフォーマンスを達成できることが示されています。

要約(オリジナル)

Spiking neural networks (SNNs) are brain-inspired energy-efficient models that encode information in spatiotemporal dynamics. Recently, deep SNNs trained directly have shown great success in achieving high performance on classification tasks with very few time steps. However, how to design a directly-trained SNN for the regression task of object detection still remains a challenging problem. To address this problem, we propose EMS-YOLO, a novel directly-trained SNN framework for object detection, which is the first trial to train a deep SNN with surrogate gradients for object detection rather than ANN-SNN conversion strategies. Specifically, we design a full-spike residual block, EMS-ResNet, which can effectively extend the depth of the directly-trained SNN with low power consumption. Furthermore, we theoretically analyze and prove the EMS-ResNet could avoid gradient vanishing or exploding. The results demonstrate that our approach outperforms the state-of-the-art ANN-SNN conversion methods (at least 500 time steps) in extremely fewer time steps (only 4 time steps). It is shown that our model could achieve comparable performance to the ANN with the same architecture while consuming 5.83 times less energy on the frame-based COCO Dataset and the event-based Gen1 Dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google