要約
脳波 (EEG) は、高い時間分解能と適度な信号対雑音比で知られる脳信号です。
自然画像を脳波から解読できるかどうかは、最近のホットな問題となっています。
この論文では、EEG信号から画像表現を学習するための自己教師ありフレームワークを提案します。
具体的には、まず画像エンコーダと EEG エンコーダを使用して、画像刺激と EEG 応答のペアから特徴を抽出します。
次に、対照学習を使用して、類似性を制限することでこれら 2 つのモダリティを調整します。
さらに、EEG エンコーダーの前に空間相関をキャプチャする 2 つのプラグインプレイ モジュールを導入します。
私たちのアプローチは、最も広範な脳波画像データセットで最先端の結果を達成し、200 通りのゼロショット タスクでトップ 1 の精度 15.6%、トップ 5 の精度 42.8% を達成しました。
さらに重要なことは、EEG信号の時間的、空間的、スペクトル的、意味論的な側面を分析する広範な実験により、良好な生物学的妥当性が実証されたことです。
これらの結果は、ニューラル デコーディングとブレイン コンピューター インターフェイスの実世界への応用について貴重な洞察を提供します。
コードは https://github.com/eeyhsong/NICE-EEG で公開されます。
要約(オリジナル)
Electroencephalogram (EEG) is a brain signal known for its high time resolution and moderate signal-to-noise ratio. Whether natural images can be decoded from EEG has been a hot issue recently. In this paper, we propose a self-supervised framework to learn image representations from EEG signals. Specifically, image and EEG encoders are first used to extract features from paired image stimuli and EEG responses. Then we employ contrastive learning to align these two modalities by constraining their similarity. Additionally, we introduce two plug-in-play modules that capture spatial correlations before the EEG encoder. Our approach achieves state-of-the-art results on the most extensive EEG-image dataset, with a top-1 accuracy of 15.6% and a top-5 accuracy of 42.8% in 200-way zero-shot tasks. More importantly, extensive experiments analyzing the temporal, spatial, spectral, and semantic aspects of EEG signals demonstrate good biological plausibility. These results offer valuable insights for neural decoding and real-world applications of brain-computer interfaces. The code will be released on https://github.com/eeyhsong/NICE-EEG.
arxiv情報
| 著者 | Yonghao Song,Bingchuan Liu,Xiang Li,Nanlin Shi,Yijun Wang,Xiaorong Gao |
| 発行日 | 2023-08-25 08:05:37+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google