Resource-Efficient Gesture Recognition using Low-Resolution Thermal Camera via Spiking Neural Networks and Sparse Segmentation

要約

この研究では、スパイキング ニューラル ネットワーク (SNN) によって処理された安価な低解像度 (24 x 32) の熱センサーを使用し、その後スパース セグメンテーションと堅牢な主成分分析 (R
-PCA）。
標準的な RGB カメラの使用と比較して、提案されたシステムは照明の変化の影響を受けにくい一方、以前に文献で使用されていた高周波レーダー、飛行時間型カメラ、高解像度の熱センサーと比較して大幅に安価です。
重要なことに、この論文は、最近提案された単安定マルチバイブレーター (MMV) ニューラル ネットワークを新しいクラスの SNN として革新的に使用することで、ディープ ラーニング アプローチと比較してメモリと計算の複雑さが 1 桁以上小さくなり、同時にトップのジェスチャ認識に達することを示しています。
自動車のコンテキスト内で車室内で取得された 5 クラスのサーマル カメラ データセットを使用した場合、精度は 93.9% です。
私たちのデータセットは、将来の研究を支援するために公開されています。

要約(オリジナル)

This work proposes a novel approach for hand gesture recognition using an inexpensive, low-resolution (24 x 32) thermal sensor processed by a Spiking Neural Network (SNN) followed by Sparse Segmentation and feature-based gesture classification via Robust Principal Component Analysis (R-PCA). Compared to the use of standard RGB cameras, the proposed system is insensitive to lighting variations while being significantly less expensive compared to high-frequency radars, time-of-flight cameras and high-resolution thermal sensors previously used in literature. Crucially, this paper shows that the innovative use of the recently proposed Monostable Multivibrator (MMV) neural networks as a new class of SNN achieves more than one order of magnitude smaller memory and compute complexity compared to deep learning approaches, while reaching a top gesture recognition accuracy of 93.9% using a 5-class thermal camera dataset acquired in a car cabin, within an automotive context. Our dataset is released for helping future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google