Hypercomplex Multimodal Emotion Recognition from EEG and Peripheral Physiological Signals

要約

生理学的信号からのマルチモーダルな感情認識は、行動反応とは異なり、意のままに制御することが不可能なため、より信頼性の高い情報が得られるため、ますます注目を集めています。
既存の深層学習ベースの手法は依然として抽出された手作りの特徴に依存しており、ニューラル ネットワークの学習能力を最大限に活用しておらず、人間の感情は本質的にマルチモーダルな方法で表現される一方で、シングルモダリティのアプローチを採用することがよくあります。
この論文では、パラメータ化された超複雑乗算を含む新しい融合モジュールを備えた超複雑マルチモーダル ネットワークを提案します。
実際、超複雑ドメインで操作することにより、操作は代数規則に従い、より効果的な融合ステップのために学習された特徴次元間の潜在的な関係をモデル化することができます。
私たちは、最先端のマルチモーダルネットワークを超えた公開データベースMAHNOB-HCIを用いて、脳波（EEG）や末梢生理信号から価性と覚醒の分類を行っています。
私たちの作業のコードは、https://github.com/ispamm/MHyEEG から無料で入手できます。

要約(オリジナル)

Multimodal emotion recognition from physiological signals is receiving an increasing amount of attention due to the impossibility to control them at will unlike behavioral reactions, thus providing more reliable information. Existing deep learning-based methods still rely on extracted handcrafted features, not taking full advantage of the learning ability of neural networks, and often adopt a single-modality approach, while human emotions are inherently expressed in a multimodal way. In this paper, we propose a hypercomplex multimodal network equipped with a novel fusion module comprising parameterized hypercomplex multiplications. Indeed, by operating in a hypercomplex domain the operations follow algebraic rules which allow to model latent relations among learned feature dimensions for a more effective fusion step. We perform classification of valence and arousal from electroencephalogram (EEG) and peripheral physiological signals, employing the publicly available database MAHNOB-HCI surpassing a multimodal state-of-the-art network. The code of our work is freely available at https://github.com/ispamm/MHyEEG.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google