Multi-Source Domain Adaptation with Transformer-based Feature Generation for Subject-Independent EEG-based Emotion Recognition

要約

深層学習ベースのアルゴリズムは、脳波 (EEG) 信号による自動感情認識において優れたパフォーマンスを実証していますが、異なる被験者に適用すると、個人の脳信号パターンにばらつきがあるため、モデルの有効性が低下する可能性があります。
転移学習技術は有望な結果を示していますが、依然として不十分な特徴表現に関連する課題に直面しており、ソース主題自体が明確な特性を持つ可能性があるという事実を見落とす可能性があります。
この研究では、複数のソースからの情報を活用するように設計されたトランスベースの特徴生成器 (MSDA-TF) を使用したマルチソース ドメイン適応アプローチを提案します。
提案された特徴ジェネレーターは畳み込み層を保持して浅い空間的、時間的、スペクトルの EEG データ表現をキャプチャし、一方でセルフアテンション メカニズムはこれらの特徴内のグローバルな依存関係を抽出します。
適応プロセスでは、相関値に基づいてソースの被写体をグループ化し、ターゲットの被写体のモーメントを各ソースおよびソース内で一致させることを目指します。
MSDA-TF は SEED データセットで検証され、有望な結果が得られることが示されています。

要約(オリジナル)

Although deep learning-based algorithms have demonstrated excellent performance in automated emotion recognition via electroencephalogram (EEG) signals, variations across brain signal patterns of individuals can diminish the model’s effectiveness when applied across different subjects. While transfer learning techniques have exhibited promising outcomes, they still encounter challenges related to inadequate feature representations and may overlook the fact that source subjects themselves can possess distinct characteristics. In this work, we propose a multi-source domain adaptation approach with a transformer-based feature generator (MSDA-TF) designed to leverage information from multiple sources. The proposed feature generator retains convolutional layers to capture shallow spatial, temporal, and spectral EEG data representations, while self-attention mechanisms extract global dependencies within these features. During the adaptation process, we group the source subjects based on correlation values and aim to align the moments of the target subject with each source as well as within the sources. MSDA-TF is validated on the SEED dataset and is shown to yield promising results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google