A Hybrid End-to-End Spatio-Temporal Attention Neural Network with Graph-Smooth Signals for EEG Emotion Recognition

要約

最近、脳波 (EEG) 信号などの生理学的データが感情コンピューティングにおいて大きな注目を集めています。
この文脈において、主な目標は、感情状態を評価できる自動化モデルを設計することです。
最近、ディープ ニューラル ネットワークは、感情認識タスクにおいて有望なパフォーマンスを示しています。
ただし、生データから実用的な情報を抽出できるディープ アーキテクチャを設計することは依然として課題です。
ここでは、時空間符号化とリカレント アテンション ネットワーク ブロックのハイブリッド構造によって解釈可能な生理学的表現を取得するディープ ニューラル ネットワークを紹介します。
さらに、グラフ信号処理ツールを使用して前処理ステップが生データに適用され、空間領域でグラフの平滑化が実行されます。
私たちは、私たちが提案したアーキテクチャが、公開されている DEAP データセットでの感情分類の最先端の結果を超えていることを実証します。
学習されたモデルの一般性を調査するために、特定のソースから他のターゲット ドメインにモデル パラメーターを転送することで、転移学習 (TL) に対するアーキテクチャのパフォーマンスも評価します。
DEAP をソース データセットとして使用し、クロスモダリティ TL の実行と、異なる刺激による EEG ベースの感情分類タスクを含む DREAMER および Emotional English Word (EEWD) データセットでの感情分類精度の向上におけるモデルの有効性を実証します。

要約(オリジナル)

Recently, physiological data such as electroencephalography (EEG) signals have attracted significant attention in affective computing. In this context, the main goal is to design an automated model that can assess emotional states. Lately, deep neural networks have shown promising performance in emotion recognition tasks. However, designing a deep architecture that can extract practical information from raw data is still a challenge. Here, we introduce a deep neural network that acquires interpretable physiological representations by a hybrid structure of spatio-temporal encoding and recurrent attention network blocks. Furthermore, a preprocessing step is applied to the raw data using graph signal processing tools to perform graph smoothing in the spatial domain. We demonstrate that our proposed architecture exceeds state-of-the-art results for emotion classification on the publicly available DEAP dataset. To explore the generality of the learned model, we also evaluate the performance of our architecture towards transfer learning (TL) by transferring the model parameters from a specific source to other target domains. Using DEAP as the source dataset, we demonstrate the effectiveness of our model in performing cross-modality TL and improving emotion classification accuracy on DREAMER and the Emotional English Word (EEWD) datasets, which involve EEG-based emotion classification tasks with different stimuli.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google