Spiking-Fer: Spiking Neural Network for Facial Expression Recognition With Event Cameras

要約

タイトル：イベントカメラを用いたスパイキングニューラルネットワークによる表情認識

要約：
– 表情認識は、大型のディープラーニングモデルの使用により、最近大きく進歩している研究領域である。
– しかし、このようなアプローチは特にエネルギー消費が大きいため、エッジデバイスへの展開が困難である。
– この問題に対処するため、スパイキングニューラルネットワーク（SNN）とイベントカメラを組み合わせたアプローチが有望である。これは、散発的で非同期のイベントを処理し、低いエネルギー消費で行うことができる。
– 本論文では、最初のイベントカメラを用いた表情認識である「イベントベースのFER」を確立し、一般的なビデオFERデータセットをイベントストリームに変換することで関連する最初のベンチマークを提案する。
– この新しいタスクに対処するため、深層畳み込みSNNモデルである「Spiking-FER」を提案し、同様の人工ニューラルネットワーク（ANN）と比較する。
– 実験の結果、提案手法はANNアーキテクチャと同等の性能を発揮しながら、数桁も少ないエネルギー消費（最大で65.39倍）で済むことが示された。
– さらに、イベントベースのFERに特化した効率的な変換についての洞察を提供するため、さまざまなイベントベースのデータ拡張技術の実験的研究が行われた。

要約(オリジナル)

Facial Expression Recognition (FER) is an active research domain that has shown great progress recently, notably thanks to the use of large deep learning models. However, such approaches are particularly energy intensive, which makes their deployment difficult for edge devices. To address this issue, Spiking Neural Networks (SNNs) coupled with event cameras are a promising alternative, capable of processing sparse and asynchronous events with lower energy consumption. In this paper, we establish the first use of event cameras for FER, named ‘Event-based FER’, and propose the first related benchmarks by converting popular video FER datasets to event streams. To deal with this new task, we propose ‘Spiking-FER’, a deep convolutional SNN model, and compare it against a similar Artificial Neural Network (ANN). Experiments show that the proposed approach achieves comparable performance to the ANN architecture, while consuming less energy by orders of magnitude (up to 65.39x). In addition, an experimental study of various event-based data augmentation techniques is performed to provide insights into the efficient transformations specific to event-based FER.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI