KAM — a Kernel Attention Module for Emotion Classification with EEG Data

要約

この作業では、ニューラル ネットワークを使用した EEG ベースの感情分類のタスクのために、カーネル アテンション モジュールが提示されます。
提案されたモジュールは、カーネル トリックを実行することで自己注意メカニズムを利用し、標準的な注意モジュールよりも大幅に少ないトレーニング可能なパラメーターと計算を要求します。
この設計は、特徴の詳細な調整中に割り当てられた注意の量を定量的に調べるためのスカラーも提供するため、トレーニング済みモデルをより適切に解釈するのに役立ちます。
EEGNet をバックボーン モデルとして使用し、SEED データセットに対して広範な実験を行って、他の SOTA アテンション モジュールと比較した被験者内分類タスクでのモジュールのパフォーマンスを評価します。
追加のパラメーターを 1 つだけ必要とする挿入されたモジュールは、基本モデルの平均予測精度を 15 人の被験者で最大 1\% 以上向上させることが示されています。
この方法の重要な要素は、ソリューションの解釈可能性です。これは、いくつかの異なる手法を使用して対処され、依存関係分析の一部として全体に含まれています。

要約(オリジナル)

In this work, a kernel attention module is presented for the task of EEG-based emotion classification with neural networks. The proposed module utilizes a self-attention mechanism by performing a kernel trick, demanding significantly fewer trainable parameters and computations than standard attention modules. The design also provides a scalar for quantitatively examining the amount of attention assigned during deep feature refinement, hence help better interpret a trained model. Using EEGNet as the backbone model, extensive experiments are conducted on the SEED dataset to assess the module’s performance on within-subject classification tasks compared to other SOTA attention modules. Requiring only one extra parameter, the inserted module is shown to boost the base model’s mean prediction accuracy up to more than 1\% across 15 subjects. A key component of the method is the interpretability of solutions, which is addressed using several different techniques, and is included throughout as part of the dependency analysis.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google