Neuromorphic Valence and Arousal Estimation

要約

顔とその根底にある感情を認識することは、生体認証の重要な側面です。
実際、顔から感情状態を推定することは、文献においていくつかの角度から取り組まれてきました。
この論文では、神経形態データを使用して顔から価度と覚醒値を予測するという新しいルートに従います。
イベントベースの注釈付きビデオを収集するのは難しいため、イベント カメラ シミュレーターを活用して、既存の RGB データセットのニューロモーフィックな対応物を作成します。
私たちは、シミュレートされたデータ上でモデルをトレーニングしても、価性覚醒推定において最先端の結果を生み出すことができるだけでなく、感情の下流タスクに対処するためのさらなるトレーニングを行わずに、トレーニングされたモデルを実際のデータに直接適用できることも実証します。
認識。
この論文では、フレームベースとビデオベースの両方で、タスクを解決するためのいくつかの代替モデルを提案します。

要約(オリジナル)

Recognizing faces and their underlying emotions is an important aspect of biometrics. In fact, estimating emotional states from faces has been tackled from several angles in the literature. In this paper, we follow the novel route of using neuromorphic data to predict valence and arousal values from faces. Due to the difficulty of gathering event-based annotated videos, we leverage an event camera simulator to create the neuromorphic counterpart of an existing RGB dataset. We demonstrate that not only training models on simulated data can still yield state-of-the-art results in valence-arousal estimation, but also that our trained models can be directly applied to real data without further training to address the downstream task of emotion recognition. In the paper we propose several alternative models to solve the task, both frame-based and video-based.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google