The Spike Gating Flow: A Hierarchical Structure Based Spiking Neural Network for Online Gesture Recognition

要約

行動認識は、ロボットビジョンや自動車などの新興産業分野でのゲームチェンジャーとなりうるため、人工知能の研究対象として注目されています。しかし、現在の深層学習は、膨大な計算量と非効率的な学習により、このような応用に大きな課題を抱えています。そこで、我々は、オンライン行動学習のために、スパイクゲーティングフロー(SGF)と呼ばれる、脳に着想を得た新しいスパイクニューラルネットワーク(SNN)ベースのシステムを開発しました。開発したシステムは、階層的に組み合わされた複数のSGFユニットから構成されています。1つのSGFユニットは、特徴抽出層、イベントドリブン層、ヒストグラムベースの学習層の3つの層から構成される。開発したシステムの能力を実証するために、標準的なDynamic Vision Sensor (DVS) のジェスチャー分類をベンチマークとして採用した。その結果、87.5%の精度を達成し、ディープラーニング(DL)と同等であるが、学習/推論データ数の比率を1.5:1と小さくできることが分かった。また、学習時に必要な学習エポックは1つだけです。また、バックプロパゲーションアルゴリズムを用いないSNNの中で最も高い精度を達成しました。最後に、開発したネットワークの数撃ちゃ当たる学習パラダイムを結論づける。1) 階層構造に基づくネットワークデザインは人間の事前知識を含む、2) コンテンツに基づくグローバルな動的特徴検出のためのSNN。

要約(オリジナル)

Action recognition is an exciting research avenue for artificial intelligence since it may be a game changer in the emerging industrial fields such as robotic visions and automobiles. However, current deep learning faces major challenges for such applications because of the huge computational cost and the inefficient learning. Hence, we develop a novel brain-inspired Spiking Neural Network (SNN) based system titled Spiking Gating Flow (SGF) for online action learning. The developed system consists of multiple SGF units which assembled in a hierarchical manner. A single SGF unit involves three layers: a feature extraction layer, an event-driven layer and a histogram-based training layer. To demonstrate the developed system capabilities, we employ a standard Dynamic Vision Sensor (DVS) gesture classification as a benchmark. The results indicate that we can achieve 87.5% accuracy which is comparable with Deep Learning (DL), but at smaller training/inference data number ratio 1.5:1. And only a single training epoch is required during the learning process. Meanwhile, to the best of our knowledge, this is the highest accuracy among the non-backpropagation algorithm based SNNs. At last, we conclude the few-shot learning paradigm of the developed network: 1) a hierarchical structure-based network design involves human prior knowledge; 2) SNNs for content based global dynamic feature detection.

arxiv情報

著者 Zihao Zhao,Yanhong Wang,Qiaosha Zou,Tie Xu,Fangbo Tao,Jiansong Zhang,Xiaoan Wang,C. -J. Richard Shi,Junwen Luo,Yuan Xie
発行日 2022-06-07 05:33:19+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, DeepL

カテゴリー: cs.AI, cs.CV パーマリンク