A Unified, Scalable Framework for Neural Population Decoding

要約

深層学習アプローチを使用して神経活動を解読する能力は、モデルのサイズとデータセットの両方の点で、より大規模なスケールから恩恵を受ける可能性があります。
ただし、各記録には異なる個々の動物の異なるニューロンの活動が含まれるため、多くの神経記録を 1 つの統一モデルに統合することは困難です。
この論文では、多様で大規模な神経記録にわたる神経活動の集団動態をモデル化するために設計されたトレーニング フレームワークとアーキテクチャを紹介します。
私たちの方法では、まずデータセット内の個々のスパイクをトークン化し、神経活動の微細な時間構造を捉える神経イベントの効率的な表現を構築します。
次に、クロスアテンションと PerceiverIO バックボーンを使用して、ニューラル集団の活動の潜在的なトークン化をさらに構築します。
このアーキテクチャとトレーニング フレームワークを利用して、27,373 を超える神経ユニットからの 158 を超える異なる記録セッションと 100 時間以上の記録に及ぶ、7 匹の非ヒト霊長類の大規模なデータセットでトレーニングされた大規模なマルチセッション モデルを構築します。
さまざまなタスクで、事前トレーニングされたモデルが、不特定のニューロン対応を持つ新しい目に見えないセッションに迅速に適応でき、最小限のラベルで数ショットのパフォーマンスが可能になることを実証します。
この研究は、ニューラル データを分析するディープ ラーニング ツールを構築するための強力な新しいアプローチを提示し、大規模なトレーニングへの明確な道筋を示します。

要約(オリジナル)

Our ability to use deep learning approaches to decipher neural activity would likely benefit from greater scale, in terms of both model size and datasets. However, the integration of many neural recordings into one unified model is challenging, as each recording contains the activity of different neurons from different individual animals. In this paper, we introduce a training framework and architecture designed to model the population dynamics of neural activity across diverse, large-scale neural recordings. Our method first tokenizes individual spikes within the dataset to build an efficient representation of neural events that captures the fine temporal structure of neural activity. We then employ cross-attention and a PerceiverIO backbone to further construct a latent tokenization of neural population activities. Utilizing this architecture and training framework, we construct a large-scale multi-session model trained on large datasets from seven nonhuman primates, spanning over 158 different sessions of recording from over 27,373 neural units and over 100 hours of recordings. In a number of different tasks, we demonstrate that our pretrained model can be rapidly adapted to new, unseen sessions with unspecified neuron correspondence, enabling few-shot performance with minimal labels. This work presents a powerful new approach for building deep learning tools to analyze neural data and stakes out a clear path to training at scale.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google