Brant-2: Foundation Model for Brain Signals

要約

基本的なモデルは、大量のラベルなしデータでの事前トレーニングの恩恵を受け、少量のラベル付きデータを使用するさまざまなアプリケーションで強力なパフォーマンスを実現します。
この分野には多数のアプリケーションシナリオが含まれており、大規模な注釈を実行するにはコストがかかるため、このようなモデルは脳信号の分析に特に効果的です。
この研究では、脳信号における最大の基礎モデルである Brant-2 を紹介します。
頭蓋内神経信号用に設計された基礎モデルである Brant と比較して、Brant-2 はデータの変動やモデル化スケールに対する堅牢性を示すだけでなく、より広範囲の脳神経データに適用できます。
広範なタスクを実験することにより、Brant-2 が脳信号のさまざまなアプリケーション シナリオに適応できることを実証しました。
さらなる分析により、Brant-2 のスケーラビリティが明らかになり、各コンポーネントの有効性が検証され、ラベルが乏しいシナリオでもパフォーマンスを維持するモデルの能力が実証されます。

要約(オリジナル)

Foundational models benefit from pre-training on large amounts of unlabeled data and enable strong performance in a wide variety of applications with a small amount of labeled data. Such models can be particularly effective in analyzing brain signals, as this field encompasses numerous application scenarios, and it is costly to perform large-scale annotation. In this work, we present the largest foundation model in brain signals, Brant-2. Compared to Brant, a foundation model designed for intracranial neural signals, Brant-2 not only exhibits robustness towards data variations and modeling scales but also can be applied to a broader range of brain neural data. By experimenting on an extensive range of tasks, we demonstrate that Brant-2 is adaptive to various application scenarios in brain signals. Further analyses reveal the scalability of the Brant-2, validate each component’s effectiveness, and showcase our model’s ability to maintain performance in scenarios with scarce labels.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google