Population Transformer: Learning Population-level Representations of Neural Activity

要約

大規模な神経記録の任意のアンサンブルの人口レベルのコードを学習する自己監督のフレームワークを提示します。
神経の時系列データ、すなわち、被験者とデータセット間のスパースと可変電極分布を使用したスケーリングモデルの重要な課題に対処します。
個体群（POPT）は、前提条件の時間埋め込みの上にスタックし、複数の空間的標準データチャネルの学習した集約を可能にすることにより、下流のデコードを強化します。
事前に守られたPOPTは、下流のデコード実験に必要なデータの量を低下させ、保有された被験者やタスクでも精度を向上させます。
エンドツーエンドの方法と比較して、このアプローチは計算的に軽量であり、同様のまたはより良いデコードパフォーマンスを達成します。
さらに、私たちのフレームワークが複数の時系列の埋め込みと神経データのモダリティにどのように一般化できるかを示します。
デコードを超えて、前処理された微調整されたPOPTモデルを解釈して、大量のデータから神経科学の洞察を抽出するためにどのように使用できるかを示します。
コードと、前提条件のPOPTをリリースして、マルチチャンネル内データドのデコードと解釈可能性の既製の改善を可能にします。
コードはhttps://github.com/czlwang/populationtransformerで入手できます。

要約(オリジナル)

We present a self-supervised framework that learns population-level codes for arbitrary ensembles of neural recordings at scale. We address key challenges in scaling models with neural time-series data, namely, sparse and variable electrode distribution across subjects and datasets. The Population Transformer (PopT) stacks on top of pretrained temporal embeddings and enhances downstream decoding by enabling learned aggregation of multiple spatially-sparse data channels. The pretrained PopT lowers the amount of data required for downstream decoding experiments, while increasing accuracy, even on held-out subjects and tasks. Compared to end-to-end methods, this approach is computationally lightweight, while achieving similar or better decoding performance. We further show how our framework is generalizable to multiple time-series embeddings and neural data modalities. Beyond decoding, we interpret the pretrained and fine-tuned PopT models to show how they can be used to extract neuroscience insights from large amounts of data. We release our code as well as a pretrained PopT to enable off-the-shelf improvements in multi-channel intracranial data decoding and interpretability. Code is available at https://github.com/czlwang/PopulationTransformer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google