Neuromorphic Event-based Facial Expression Recognition

要約

タイトル：ニューロモーフィックイベントベースの表情認識
要約：
– イベントカメラは、高い時間分解能が必要なタスクに関して、数多くのコンピュータビジョン分野で広範囲に活用されている。
– 本研究では、このようなデータを感情認識のために使用することを検討し、 Neuromorphic Event-based Facial Expression Recognition（NEFER）というデータセットを提案する。
– NEFERは、人間の顔を表情と共にラベル付けしたRGBとイベントビデオのペアで構成されており、それぞれのデータには、顔領域と顔のランドマークもアノテーションされている。
– データ収集プロセスとRGBとイベントデータのベースライン方法を詳細に説明する。
– 収集されたデータは、RGBデータで見つけるのが難しい微妙なマイクロ表情を捉えており、イベント領域で現れる。
– イベントベースのアプローチによる認識精度は、倍増しており、ニューロモーフィックなアプローチが、速い表情や隠された感情を分析するために効果的であることを示している。

要約(オリジナル)

Recently, event cameras have shown large applicability in several computer vision fields especially concerning tasks that require high temporal resolution. In this work, we investigate the usage of such kind of data for emotion recognition by presenting NEFER, a dataset for Neuromorphic Event-based Facial Expression Recognition. NEFER is composed of paired RGB and event videos representing human faces labeled with the respective emotions and also annotated with face bounding boxes and facial landmarks. We detail the data acquisition process as well as providing a baseline method for RGB and event data. The collected data captures subtle micro-expressions, which are hard to spot with RGB data, yet emerge in the event domain. We report a double recognition accuracy for the event-based approach, proving the effectiveness of a neuromorphic approach for analyzing fast and hardly detectable expressions and the emotions they conceal.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI