EmT: A Novel Transformer for Generalized Cross-subject EEG Emotion Recognition

要約

神経生理学に関する事前の知識をニューラル ネットワーク アーキテクチャに統合することで、感情のデコードのパフォーマンスが向上します。
多くの技術が空間的および短期的な時間的パターンの学習に重点を置いている一方で、感情的な認知プロセスに関連する重要な長期的な文脈情報の捕捉にはあまり重点が置かれていません。
この不一致に対処するために、感情トランスフォーマー (EmT) と呼ばれる新しいトランスフォーマー モデルを導入します。
EmT は、一般化された被験者間の EEG 感情分類と回帰タスクの両方で優れた性能を発揮するように設計されています。
EmT では、EEG 信号が時間グラフ形式に変換され、時間グラフ構築モジュール (TGC) を使用して一連の EEG 特徴グラフが作成されます。
次に、新しい残差マルチビュー ピラミッド GCN モジュール (RMPG) が提案され、シリーズ内の各 EEG 特徴グラフの動的グラフ表現を学習し、各グラフの学習された表現が 1 つのトークンに融合されます。
さらに、時間コンテキスト情報を学習するために、2 種類のトークン ミキサーを備えた時間コンテキスト トランスフォーマー モジュール (TCT) を設計します。
最後に、タスク固有の出力モジュール (TSO) が必要な出力を生成します。
公開されている 4 つのデータセットでの実験では、EmT が EEG 感情分類タスクと回帰タスクの両方でベースライン手法よりも高い結果を達成することが示されています。
コードは https://github.com/yi-ding-cs/EmT で入手できます。

要約(オリジナル)

Integrating prior knowledge of neurophysiology into neural network architecture enhances the performance of emotion decoding. While numerous techniques emphasize learning spatial and short-term temporal patterns, there has been limited emphasis on capturing the vital long-term contextual information associated with emotional cognitive processes. In order to address this discrepancy, we introduce a novel transformer model called emotion transformer (EmT). EmT is designed to excel in both generalized cross-subject EEG emotion classification and regression tasks. In EmT, EEG signals are transformed into a temporal graph format, creating a sequence of EEG feature graphs using a temporal graph construction module (TGC). A novel residual multi-view pyramid GCN module (RMPG) is then proposed to learn dynamic graph representations for each EEG feature graph within the series, and the learned representations of each graph are fused into one token. Furthermore, we design a temporal contextual transformer module (TCT) with two types of token mixers to learn the temporal contextual information. Finally, the task-specific output module (TSO) generates the desired outputs. Experiments on four publicly available datasets show that EmT achieves higher results than the baseline methods for both EEG emotion classification and regression tasks. The code is available at https://github.com/yi-ding-cs/EmT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google