Mapping EEG Signals to Visual Stimuli: A Deep Learning Approach to Match vs. Mismatch Classification

要約

視覚刺激と脳反応の間の関連性をモデル化する既存のアプローチは、被験者間の差異とモデルの一般化を処理する際に困難に直面しています。
音声脳反応のモデリングにおける最近の進歩に触発され、この研究では、ビデオクリップが記録されたEEG信号で興奮性反応を誘発するかどうかを分類し、視覚コンテンツ間の関連性を学習するための「一致対不一致」深層学習モデルを提案します。
および対応する神経記録。
独自の実験データセットを使用して、提案されたモデルが他のベースライン モデルと比較して、目に見えない対象に対して最高の精度を達成できることを実証します。
さらに、埋め込み空間内の被験者レベルのシルエットスコアを使用して被験者間のノイズを分析し、開発したモデルが被験者間のノイズを軽減し、シルエットスコアを大幅に削減できることを示します。
さらに、Grad-CAM 活性化スコアを調べ、言語処理に関連する脳領域がモデル予測に最も寄与し、視覚処理に関連する領域がそれに続くことを示します。
これらの結果は、神経記録ベースのビデオ再構成とその関連アプリケーションの開発を促進する可能性があります。

要約(オリジナル)

Existing approaches to modeling associations between visual stimuli and brain responses are facing difficulties in handling between-subject variance and model generalization. Inspired by the recent progress in modeling speech-brain response, we propose in this work a “match-vs-mismatch” deep learning model to classify whether a video clip induces excitatory responses in recorded EEG signals and learn associations between the visual content and corresponding neural recordings. Using an exclusive experimental dataset, we demonstrate that the proposed model is able to achieve the highest accuracy on unseen subjects as compared to other baseline models. Furthermore, we analyze the inter-subject noise using a subject-level silhouette score in the embedding space and show that the developed model is able to mitigate inter-subject noise and significantly reduce the silhouette score. Moreover, we examine the Grad-CAM activation score and show that the brain regions associated with language processing contribute most to the model predictions, followed by regions associated with visual processing. These results have the potential to facilitate the development of neural recording-based video reconstruction and its related applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google