Online Multi-level Contrastive Representation Distillation for Cross-Subject fNIRS Emotion Recognition

要約

機能的近赤外分光法 (fNIRS) 信号を感情認識に利用することは、人間の感情を理解する上で大きな進歩です。
しかし、この分野では人工知能のデータとアルゴリズムが不足しているため、現在の研究は次の課題に直面しています。1) ポータブル ウェアラブル デバイスには、軽量モデルに対するより高い要件があります。
2) 異なる被験者間の生理学と心理学の客観的な違いは、感情認識の困難さをさらに悪化させます。
これらの課題に対処するために、オンライン多レベル対照表現蒸留フレームワーク (OMCRD) と呼ばれる、新しい被験者間 fNIRS 感情認識方法を提案します。
具体的には、OMCRD は、複数の軽量学生ネットワーク間の相互学習のために設計されたフレームワークです。
各サブネットワークに対してマルチレベルの fNIRS 特徴抽出器を利用し、生理学的信号を使用してマルチビューセンチメンタルマイニングを実行します。
提案された被験者間相互作用対比表現 (IS-ICR) は、学生モデル間の相互作用に関する知識の伝達を促進し、被験者間の感情認識パフォーマンスを向上させます。
最適な学生ネットワークを選択してウェアラブル デバイスに展開できます。
いくつかの実験結果は、OMCRD が感情知覚と感情イメージタスクにおいて最先端の結果を達成することを示しています。

要約(オリジナル)

Utilizing functional near-infrared spectroscopy (fNIRS) signals for emotion recognition is a significant advancement in understanding human emotions. However, due to the lack of artificial intelligence data and algorithms in this field, current research faces the following challenges: 1) The portable wearable devices have higher requirements for lightweight models; 2) The objective differences of physiology and psychology among different subjects aggravate the difficulty of emotion recognition. To address these challenges, we propose a novel cross-subject fNIRS emotion recognition method, called the Online Multi-level Contrastive Representation Distillation framework (OMCRD). Specifically, OMCRD is a framework designed for mutual learning among multiple lightweight student networks. It utilizes multi-level fNIRS feature extractor for each sub-network and conducts multi-view sentimental mining using physiological signals. The proposed Inter-Subject Interaction Contrastive Representation (IS-ICR) facilitates knowledge transfer for interactions between student models, enhancing cross-subject emotion recognition performance. The optimal student network can be selected and deployed on a wearable device. Some experimental results demonstrate that OMCRD achieves state-of-the-art results in emotional perception and affective imagery tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google