A Lightweight Domain Adversarial Neural Network Based on Knowledge Distillation for EEG-based Cross-subject Emotion Recognition

要約

脳波の個人差によりドメインシフトが発生し，被験者横断戦略の性能が著しく低下する可能性がある．このドメインシフトに対処するために、分類損失とドメイン損失が共同で特徴抽出器のパラメータを更新するDANN（Domain adversarial neural network）が採用されている。しかし、脳波データの量が限られていることや、個人差が強いことが、煩雑な特徴抽出器を持つDANNの課題となっている。本研究では、被験者横断的な脳波に基づく感情認識を強化するために、知識蒸留（KD）ベースの軽量DANNを提案する。具体的には、複雑な脳波の時間的ダイナミクスと空間的相関を学習するために、強力な文脈学習能力を持つ教師モデルを利用し、より難しいドメイン不変の特徴を学習するために、教師モデルによって堅牢な軽量生徒モデルを誘導する。特徴ベースKDフレームワークでは、変換器ベースの階層的な時間空間学習モデルが教師モデルとして機能する。Bi-LSTMユニットで構成される生徒モデルは、教師モデルの軽量版である。したがって、生徒モデルは、補完的な潜在的時間特徴および空間特徴を活用することで、教師モデルの頑健な特徴表現を模倣するようにスーパーバイズすることができる。DANNに基づく被験者間感情認識では、得られた生徒モデルと、特徴抽出器として軽量の時間-空間特徴相互作用モジュールを組み合わせる。そして、特徴集約を感情分類器とドメイン分類器に与え、ドメイン非変動特徴学習を行う。提案手法の有効性を検証するため、公開データセットDEAPを用いて、覚醒と価の分類を行う被験者非依存型の実験を行った。提案手法の優れた性能と潜在特徴のt-SNE可視化は、提案手法の優位性と有効性を検証する。

要約(オリジナル)

Individual differences of Electroencephalogram (EEG) could cause the domain shift which would significantly degrade the performance of cross-subject strategy. The domain adversarial neural networks (DANN), where the classification loss and domain loss jointly update the parameters of feature extractor, are adopted to deal with the domain shift. However, limited EEG data quantity and strong individual difference are challenges for the DANN with cumbersome feature extractor. In this work, we propose knowledge distillation (KD) based lightweight DANN to enhance cross-subject EEG-based emotion recognition. Specifically, the teacher model with strong context learning ability is utilized to learn complex temporal dynamics and spatial correlations of EEG, and robust lightweight student model is guided by the teacher model to learn more difficult domain-invariant features. In the feature-based KD framework, a transformer-based hierarchical temporalspatial learning model is served as the teacher model. The student model, which is composed of Bi-LSTM units, is a lightweight version of the teacher model. Hence, the student model could be supervised to mimic the robust feature representations of teacher model by leveraging complementary latent temporal features and spatial features. In the DANN-based cross-subject emotion recognition, we combine the obtained student model and a lightweight temporal-spatial feature interaction module as the feature extractor. And the feature aggregation is fed to the emotion classifier and domain classifier for domain-invariant feature learning. To verify the effectiveness of the proposed method, we conduct the subject-independent experiments on the public dataset DEAP with arousal and valence classification. The outstanding performance and t-SNE visualization of latent features verify the advantage and effectiveness of the proposed method.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL