Population Transformer: Learning Population-level Representations of Neural Activity

要約

我々は、神経記録の任意のアンサンブルに対する集団レベルのコードを大規模に学習する自己教師ありフレームワークを提示します。
私たちは、神経時系列データを使用してモデルをスケーリングする際の 2 つの重要な課題、つまり被験者とデータセットにわたるまばらで可変な電極分布に取り組みます。
Population Transformer (PopT) は、事前トレーニングされた表現の上に積み重ねられ、複数の空間的に疎なデータ チャネルの学習された集約を可能にすることで、ダウンストリームのデコードを強化します。
事前トレーニングされた PopT は、ダウンストリームのデコード実験に必要なデータ量を削減しながら、保留された被験者やタスクでも精度を向上させます。
エンドツーエンドの方法と比較して、このアプローチは計算が軽量で解釈しやすいと同時に、競争力のあるパフォーマンスを維持します。
さらに、私たちのフレームワークが複数の時系列埋め込みとニューラル データ モダリティにどのように一般化できるかを示します。
デコードを超えて、事前トレーニングされた PopT モデルと微調整されたモデルを解釈して、それらを使用して大量のデータから神経科学の洞察を抽出する方法を示します。
マルチチャネル頭蓋内データのデコードと解釈性の既製の改善を可能にするために、コードと事前トレーニングされた PopT をリリースします。

要約(オリジナル)

We present a self-supervised framework that learns population-level codes for arbitrary ensembles of neural recordings at scale. We address two key challenges in scaling models with neural time-series data: sparse and variable electrode distribution across subjects and datasets. The Population Transformer (PopT) stacks on top of pretrained representations and enhances downstream decoding by enabling learned aggregation of multiple spatially-sparse data channels. The pretrained PopT lowers the amount of data required for downstream decoding experiments, while increasing accuracy, even on held-out subjects and tasks. Compared to end-to-end methods, this approach is computationally lightweight and more interpretable, while still retaining competitive performance. We further show how our framework is generalizable to multiple time-series embeddings and neural data modalities. Beyond decoding, we interpret the pretrained PopT and fine-tuned models to show how they can be used to extract neuroscience insights from massive amounts of data. We release our code as well as a pretrained PopT to enable off-the-shelf improvements in multi-channel intracranial data decoding and interpretability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google