Relate auditory speech to EEG by shallow-deep attention-based network

要約

脳波 (EEG) は、脳がさまざまな刺激にどのように反応するかを検出する上で重要な役割を果たします。
この論文では、脳波信号を誘発する正しい聴覚刺激を分類するための新しい浅い深い注意ベースのネットワーク (SDANet) を提案します。
Attention-based Correlation Module (ACM) を採用して聴覚音声と EEG の関連性をグローバルな側面から発見し、Shallow-Deep Similarity Classification Module (SDSCM) を採用して浅い層と深い層から学習した埋め込みを介して分類結果を決定します。
.
さらに、モデルの堅牢性を高めるために、さまざまなトレーニング戦略とデータ拡張が使用されます。
実験は、聴覚脳波チャレンジ (ICASSP Signal Processing Grand Challenge 2023) によって提供されたデータセットに対して行われます。
結果は、提案されたモデルが一致-不一致トラックのベースラインを大幅に上回っていることを示しています。

要約(オリジナル)

Electroencephalography (EEG) plays a vital role in detecting how brain responses to different stimulus. In this paper, we propose a novel Shallow-Deep Attention-based Network (SDANet) to classify the correct auditory stimulus evoking the EEG signal. It adopts the Attention-based Correlation Module (ACM) to discover the connection between auditory speech and EEG from global aspect, and the Shallow-Deep Similarity Classification Module (SDSCM) to decide the classification result via the embeddings learned from the shallow and deep layers. Moreover, various training strategies and data augmentation are used to boost the model robustness. Experiments are conducted on the dataset provided by Auditory EEG challenge (ICASSP Signal Processing Grand Challenge 2023). Results show that the proposed model has a significant gain over the baseline on the match-mismatch track.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google