Neuro-GPT: Developing A Foundation Model for EEG

要約

ブレイン コンピューター インターフェイス (BCI) タスクにおける脳波 (EEG) データの不足と不均一性を処理し、膨大な公開データを活用するために、EEG エンコーダーと GPT モデルで構成される基礎モデルである Neuro-GPT を提案します。
基礎モデルは、EEG でマスクされたチャンクを再構成する方法を学習する自己教師ありタスクを使用して、大規模な公開 EEG データセットで事前トレーニングされています。
次に、9 人の被験者のみが利用可能な運動イメージ分類タスクで基礎モデルを微調整します。
実験では、基礎モデルを適用すると、ゼロからトレーニングしたモデルと比較して分類パフォーマンスが大幅に向上することが実証されました。これは、基礎モデルの高度な一般化可能性と、データの不足と異質性の課題に対処する能力の証拠となります。

要約(オリジナル)

To handle the scarcity and heterogeneity of electroencephalography (EEG) data in Brain-Computer Interface (BCI) tasks, and to harness the vast public data, we propose Neuro-GPT, a foundation model consisting of an EEG encoder and a GPT model. The foundation model is pre-trained on a large-scale public EEG dataset, using a self-supervised task which learns how to reconstruct the masked chunk in EEG. We then fine-tune the foundation model on a Motor Imagery Classification task where only 9 subjects are available. Experiments demonstrated that applying foundation model can significantly improve classification performance compared to the model trained from scratch, which provides evidence for the advanced generalizability of foundation model and the ability to address the challenges of data scarcity and heterogeneity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google