Semi-Supervised Dual-Stream Self-Attentive Adversarial Graph Contrastive Learning for Cross-Subject EEG-based Emotion Recognition

要約

脳波（EEG）は感情認識のための客観的なツールであり、その応用は有望である。しかし、ラベル付けされたデータが乏しいことがこの分野における大きな課題であり、EEGに基づく感情認識の普及を制限している。本論文では、被験者横断的なEEGベースの感情認識における限られたラベル付きデータの課題に取り組むために、半教師付きデュアルストリーム自己教師グラフ対照学習フレームワーク（DS-AGCと呼ぶ）を提案する。DS-AGCフレームワークは、非構造的および構造的なEEG特徴を抽出するための2つの並列ストリームを含む。非構造的ストリームは、ラベル付けされたソース・ドメイン、ラベル付けされていないソース・ドメイン、および未知のターゲット・ドメイン間の分布の不一致を緩和するために、半教師付き複数ドメイン適応法を組み込んでいる。構造ストリームは、半教師ありの方法で複数のEEGチャンネルから効果的なグラフベースの特徴表現を抽出するために、グラフ対照学習法を開発する。さらに、特徴融合、サンプル選択、および感情認識のために自己調整融合モジュールが開発され、感情に関連性の高いEEG特徴や、ターゲット・ドメインに近いラベル付けされたソース・ドメインのデータ・サンプルを強調表示する。2つのベンチマーク・データベース（SEEDとSEED-IV）に対して、半教師付き被験者横断的leave-one-subject-out交差検証評価スキームを用いて行った広範な実験により、提案モデルが、異なる不完全ラベル条件下で既存の手法を上回る（SEEDでは平均5.83%、SEED-IVでは平均6.99%の改善）ことが示され、被験者横断的なEEGベースの感情認識におけるラベル不足問題に対処する有効性が実証された。

要約(オリジナル)

Electroencephalography (EEG) is an objective tool for emotion recognition with promising applications. However, the scarcity of labeled data remains a major challenge in this field, limiting the widespread use of EEG-based emotion recognition. In this paper, a semi-supervised Dual-stream Self-Attentive Adversarial Graph Contrastive learning framework (termed as DS-AGC) is proposed to tackle the challenge of limited labeled data in cross-subject EEG-based emotion recognition. The DS-AGC framework includes two parallel streams for extracting non-structural and structural EEG features. The non-structural stream incorporates a semi-supervised multi-domain adaptation method to alleviate distribution discrepancy among labeled source domain, unlabeled source domain, and unknown target domain. The structural stream develops a graph contrastive learning method to extract effective graph-based feature representation from multiple EEG channels in a semi-supervised manner. Further, a self-attentive fusion module is developed for feature fusion, sample selection, and emotion recognition, which highlights EEG features more relevant to emotions and data samples in the labeled source domain that are closer to the target domain. Extensive experiments conducted on two benchmark databases (SEED and SEED-IV) using a semi-supervised cross-subject leave-one-subject-out cross-validation evaluation scheme show that the proposed model outperforms existing methods under different incomplete label conditions (with an average improvement of 5.83% on SEED and 6.99% on SEED-IV), demonstrating its effectiveness in addressing the label scarcity problem in cross-subject EEG-based emotion recognition.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL