Joint Contrastive Learning with Feature Alignment for Cross-Corpus EEG-based Emotion Recognition

要約

人間の感情をマルチメディア アプリケーションに統合することは、ユーザー エクスペリエンスを豊かにし、さまざまなデジタル プラットフォーム全体でのエンゲージメントを強化する大きな可能性を示しています。
アンケート、表情、音声分析などの従来の方法とは異なり、脳信号は感情状態をより直接的かつ客観的に理解できます。
しかし、脳波検査 (EEG) ベースの感情認識の分野では、これまでの研究は主に単一のデータセット内での EEG モデルのトレーニングとテストに重点が置かれており、異なるデータセット間のばらつきは見落とされてきました。
この見落としにより、EEG モデルをコーパス間シナリオに適用する場合、パフォーマンスが大幅に低下します。
この研究では、クロスコーパスEEGベースの感情認識に対処するために、Feature Alignment（JCFA）を備えた新しい共同対照学習フレームワークを提案します。
JCFA モデルは 2 つの主要な段階で動作します。
事前トレーニング段階では、ラベル付きデータを使用せずに、EEG 信号の一般化可能な時間周波数表現を特徴付けるために、結合領域対比学習戦略が導入されます。
各 EEG サンプルの堅牢な時間ベースおよび周波数ベースの埋め込みを抽出し、共有の潜在時間-周波数空間内でそれらを位置合わせします。
微調整段階では、脳電極間の構造的接続が考慮される下流タスクと連携して JCFA が洗練されます。
モデルの機能は、感情の検出と解釈のアプリケーション向けにさらに強化される可能性があります。
2 つのよく知られた感情データセットに関する広範な実験結果は、提案された JCFA モデルが最先端 (SOTA) のパフォーマンスを達成し、クロスコーパス EEG ベースで平均精度が 4.09% 向上し、2 番目に優れた方法を上回っていることを示しています。
感情認識タスク。

要約(オリジナル)

The integration of human emotions into multimedia applications shows great potential for enriching user experiences and enhancing engagement across various digital platforms. Unlike traditional methods such as questionnaires, facial expressions, and voice analysis, brain signals offer a more direct and objective understanding of emotional states. However, in the field of electroencephalography (EEG)-based emotion recognition, previous studies have primarily concentrated on training and testing EEG models within a single dataset, overlooking the variability across different datasets. This oversight leads to significant performance degradation when applying EEG models to cross-corpus scenarios. In this study, we propose a novel Joint Contrastive learning framework with Feature Alignment (JCFA) to address cross-corpus EEG-based emotion recognition. The JCFA model operates in two main stages. In the pre-training stage, a joint domain contrastive learning strategy is introduced to characterize generalizable time-frequency representations of EEG signals, without the use of labeled data. It extracts robust time-based and frequency-based embeddings for each EEG sample, and then aligns them within a shared latent time-frequency space. In the fine-tuning stage, JCFA is refined in conjunction with downstream tasks, where the structural connections among brain electrodes are considered. The model capability could be further enhanced for the application in emotion detection and interpretation. Extensive experimental results on two well-recognized emotional datasets show that the proposed JCFA model achieves state-of-the-art (SOTA) performance, outperforming the second-best method by an average accuracy increase of 4.09% in cross-corpus EEG-based emotion recognition tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google