Temporal-Guided Spiking Neural Networks for Event-Based Human Action Recognition

要約

このペーパーでは、プライバシーを提供する人間の行動認識（HAR）のためのスパイクニューラルネットワーク（SNNS）とイベントベースのカメラとの間の有望な相互作用を調査します。
スパイクによる空間的データの処理におけるSNNSの習熟度と組み合わされたモーションの輪郭のみをキャプチャする際のイベントカメラのユニークな機能は、イベントベースのHARとの非常に相乗的な互換性を確立します。
しかし、以前の研究は、正確なHARに不可欠な長期的な時間情報を処理するSNNSの能力によって制限されてきました。
このペーパーでは、これに対処するために2つの新しいフレームワークを紹介します：時間セグメントベースのSNN（\ textIT {ts-snn}）と3D畳み込みSNN（\ textit {3d-snn}）。
\ textit {ts-snn}は、アクションをより短いセグメントに分割することにより長期の時間情報を抽出し、\ textit {3d-snn}は2D空間要素を3Dコンポーネントに置き換えて、時間情報の送信を容易にします。
イベントベースのHARのさらなる研究を促進するために、7つの異なるアクションを含む高解像度Celex-Vイベントカメラ$（1280 \ Times 800）$を使用して収集されたデータセット\ TextIT {fallingDetection-Celex}を作成します。
広範な実験結果は、提案されているフレームワークが新しく収集されたデータセットと他の3つの神経形態データセットの最先端のSNNメソッドを上回り、イベントベースのHARの長距離時間情報を処理する際の有効性を示していることを示しています。

要約(オリジナル)

This paper explores the promising interplay between spiking neural networks (SNNs) and event-based cameras for privacy-preserving human action recognition (HAR). The unique feature of event cameras in capturing only the outlines of motion, combined with SNNs’ proficiency in processing spatiotemporal data through spikes, establishes a highly synergistic compatibility for event-based HAR. Previous studies, however, have been limited by SNNs’ ability to process long-term temporal information, essential for precise HAR. In this paper, we introduce two novel frameworks to address this: temporal segment-based SNN (\textit{TS-SNN}) and 3D convolutional SNN (\textit{3D-SNN}). The \textit{TS-SNN} extracts long-term temporal information by dividing actions into shorter segments, while the \textit{3D-SNN} replaces 2D spatial elements with 3D components to facilitate the transmission of temporal information. To promote further research in event-based HAR, we create a dataset, \textit{FallingDetection-CeleX}, collected using the high-resolution CeleX-V event camera $(1280 \times 800)$, comprising 7 distinct actions. Extensive experimental results show that our proposed frameworks surpass state-of-the-art SNN methods on our newly collected dataset and three other neuromorphic datasets, showcasing their effectiveness in handling long-range temporal information for event-based HAR.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google