S-JEPA: towards seamless cross-dataset transfer through dynamic spatial attention

要約

この記事は、EEG 信号処理におけるシームレスなデータセット間転送の課題を動機として、Joint Embedding Predictive Architecture (JEPA) の使用に関する探索的研究を紹介します。
近年、自己教師あり学習は、さまざまな領域における転移学習の有望なアプローチとして浮上しています。
ただし、EEG 信号への応用はまだほとんど解明されていません。
この記事では、新しいドメイン固有の空間ブロック マスキング戦略と下流分類のための 3 つの新しいアーキテクチャを含む、EEG 記録を表現するための Signal-JEPA を紹介します。
この研究は 54 人の被験者のデータセットで行われ、モデルの下流のパフォーマンスは 3 つの異なる BCI パラダイム (運動画像、ERP、SSVEP) で評価されます。
私たちの研究は、EEG信号エンコーディングにおけるJEPAの可能性についての予備的な証拠を提供します。
特に、私たちの結果は、正確なダウンストリーム分類のための空間フィルタリングの重要性を強調し、ダウンストリームのパフォーマンスに対するマスク サイズではなく、事前トレーニングのサンプルの長さの影響を明らかにしています。

要約(オリジナル)

Motivated by the challenge of seamless cross-dataset transfer in EEG signal processing, this article presents an exploratory study on the use of Joint Embedding Predictive Architectures (JEPAs). In recent years, self-supervised learning has emerged as a promising approach for transfer learning in various domains. However, its application to EEG signals remains largely unexplored. In this article, we introduce Signal-JEPA for representing EEG recordings which includes a novel domain-specific spatial block masking strategy and three novel architectures for downstream classification. The study is conducted on a 54~subjects dataset and the downstream performance of the models is evaluated on three different BCI paradigms: motor imagery, ERP and SSVEP. Our study provides preliminary evidence for the potential of JEPAs in EEG signal encoding. Notably, our results highlight the importance of spatial filtering for accurate downstream classification and reveal an influence of the length of the pre-training examples but not of the mask size on the downstream performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google