Group-level Brain Decoding with Deep Learning

要約

脳画像データのデコードは、脳とコンピューターのインターフェイスや神経表現の研究に応用され、人気が高まっています。
デコードは通常、被験者固有であり、被験者間のばらつきが大きいため、被験者全体を十分に一般化することはできません。
これを克服する技術は、より豊富な神経科学的洞察を提供するだけでなく、グループレベルのモデルが被験者固有のモデルを上回るパフォーマンスを発揮することも可能にします。
ここでは、自然言語処理における単語埋め込みに似た主題埋め込みを使用して、復号化モデルの一部として主題間の変動の構造を学習および活用する方法を提案します。これは、WaveNet アーキテクチャを分類に適応させたものです。
これを脳磁図データに適用します。このデータでは、15 人の被験者が 118 個の異なる画像 (画像あたり 30 個のサンプル) を閲覧しました。
画像表示に続く 1 秒ウィンドウ全体を使用して画像を分類します。
私たちは、ディープラーニングとサブジェクトエンベディングの組み合わせが、サブジェクトレベルとグループレベルのデコードモデル間のパフォーマンスギャップを埋めるために重要であることを示します。
重要なのは、グループ モデルは、低精度の被験者では被験者モデルよりも優れたパフォーマンスを示し (ただし、高精度の被験者ではわずかに低下します)、被験者モデルの初期化に役立ちます。
一般に、グループレベルのモデルが被験者レベルのモデルよりも優れたパフォーマンスを発揮することは見つかっていませんが、データセットが大きくなると、グループモデリングのパフォーマンスはさらに高くなることが予想されます。
グループレベルで生理学的解釈を提供するために、置換特徴重要性を利用します。
これにより、モデルにエンコードされた時空間情報とスペクトル情報についての洞察が得られます。
すべてのコードは GitHub (https://github.com/ricsinaruto/MEG-group-decode) で入手できます。

要約(オリジナル)

Decoding brain imaging data are gaining popularity, with applications in brain-computer interfaces and the study of neural representations. Decoding is typicallysubject-specific and does not generalise well over subjects, due to high amounts ofbetween subject variability. Techniques that overcome this will not only providericher neuroscientific insights but also make it possible for group-level models to out-perform subject-specific models. Here, we propose a method that uses subjectembedding, analogous to word embedding in natural language processing, to learnand exploit the structure in between-subject variability as part of a decoding model,our adaptation of the WaveNet architecture for classification. We apply this to mag-netoencephalography data, where 15 subjects viewed 118 different images, with30 examples per image; to classify images using the entire 1 s window followingimage presentation. We show that the combination of deep learning and subjectembedding is crucial to closing the performance gap between subject- and group-level decoding models. Importantly, group models outperform subject models onlow-accuracy subjects (although slightly impair high-accuracy subjects) and can behelpful for initialising subject models. While we have not generally found group-levelmodels to perform better than subject-level models, the performance of groupmodelling is expected to be even higher with bigger datasets. In order to providephysiological interpretation at the group level, we make use of permutation featureimportance. This provides insights into the spatiotemporal and spectral informationencoded in the models. All code is available on GitHub (https://github.com/ricsinaruto/MEG-group-decode).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google