MindBridge: A Cross-Subject Brain Decoding Framework

要約

神経科学の極めて重要な分野である脳デコーディングは、主に機能的磁気共鳴画像法 (fMRI) を利用して、取得した脳信号から刺激を再構築することを目的としています。
現在、脳のデコードは被験者ごと、モデルごとのパラダイムに限定されており、デコード モデルがトレーニングされる同じ個人への適用が制限されています。
この制約は、次の 3 つの重要な課題から生じています。1) 脳の大きさの違いによる被験者間の入力次元の固有のばらつき。
2）さまざまな個人が感覚情報をどのように認識し、処理するかに影響を与える、固有の固有の神経パターン。
3) 現実世界のシナリオでは、新しい主題に対する利用可能なデータが限られているため、デコード モデルのパフォーマンスが妨げられます。
この論文では、1 つのモデルのみを使用して被験者間の脳デコーディングを実現する新しいアプローチ、MindBridge を紹介します。
私たちが提案したフレームワークは、生物学にインスピレーションを得た集約関数と、被験者不変表現学習のための新しい巡回 fMRI 再構成メカニズムを導入することで、これらの課題に対処できる汎用パラダイムを確立します。
特に、MindBridge は fMRI のサイクル再構成により、擬似データ拡張としても機能する新しい fMRI 合成を可能にします。
このフレームワーク内で、事前学習済みモデルを新しい被験者に適応させるための新しいリセット調整方法も考案します。
実験結果は、複数の被験者の画像を再構成する MindBridge の能力が、被験者固有の専用モデルと競合することを示しています。
さらに、新しい被験者の限られたデータでも、被験者固有のモデルを上回る高いレベルのデコード精度を実現します。
被験者を超えた脳デコードにおけるこの進歩は、神経科学におけるより広範な応用への有望な方向性を示唆し、現実世界のシナリオにおいて限られた fMRI データをより効率的に利用できる可能性を示しています。
プロジェクトページ: https://littlepure2333.github.io/MindBridge

要約(オリジナル)

Brain decoding, a pivotal field in neuroscience, aims to reconstruct stimuli from acquired brain signals, primarily utilizing functional magnetic resonance imaging (fMRI). Currently, brain decoding is confined to a per-subject-per-model paradigm, limiting its applicability to the same individual for whom the decoding model is trained. This constraint stems from three key challenges: 1) the inherent variability in input dimensions across subjects due to differences in brain size; 2) the unique intrinsic neural patterns, influencing how different individuals perceive and process sensory information; 3) limited data availability for new subjects in real-world scenarios hampers the performance of decoding models. In this paper, we present a novel approach, MindBridge, that achieves cross-subject brain decoding by employing only one model. Our proposed framework establishes a generic paradigm capable of addressing these challenges by introducing biological-inspired aggregation function and novel cyclic fMRI reconstruction mechanism for subject-invariant representation learning. Notably, by cycle reconstruction of fMRI, MindBridge can enable novel fMRI synthesis, which also can serve as pseudo data augmentation. Within the framework, we also devise a novel reset-tuning method for adapting a pretrained model to a new subject. Experimental results demonstrate MindBridge’s ability to reconstruct images for multiple subjects, which is competitive with dedicated subject-specific models. Furthermore, with limited data for a new subject, we achieve a high level of decoding accuracy, surpassing that of subject-specific models. This advancement in cross-subject brain decoding suggests promising directions for wider applications in neuroscience and indicates potential for more efficient utilization of limited fMRI data in real-world scenarios. Project page: https://littlepure2333.github.io/MindBridge

arxiv情報

提供元, 利用サービス

arxiv.jp, Google