Aligning brain functions boosts the decoding of visual semantics in novel subjects

要約

ディープラーニングは、機能的磁気共鳴画像法 (fMRI) からの脳デコードの分野で大きな進歩をもたらしています。
ただし、脳の特性には被験者間のばらつきが大きいため、ほとんどの研究では、一度に 1 つの被験者でモデルをトレーニングすることが制限されています。
その結果、このアプローチは、通常、非常に大規模なデータセットを必要とする深層学習モデルのトレーニングを妨げます。
ここでは、被験者全体のビデオや静止画像に対する脳の反応を調整することで、脳のデコードを強化することを提案します。
解剖学的に位置合わせされたベースラインと比較して、私たちの方法は被験者外のデコードパフォーマンスを最大 75% 向上させます。
さらに、テスト対象で利用可能なデータが 100 分未満の場合でも、従来の単一被験者のアプローチよりも優れたパフォーマンスを発揮します。
さらに、被験者外の一般化を改善しながら、古典的な単一被験者のアプローチと同等の結果が得られる、新しい複数被験者のアライメント方法を提案します。
最後に、この方法が脳の解剖学的構造に従って神経表現を整列させることを示します。
全体として、この研究は、広範な神経画像データセットを活用し、限られた量の脳記録を持つ個人の解読を強化するための基礎を築きます。

要約(オリジナル)

Deep learning is leading to major advances in the realm of brain decoding from functional Magnetic Resonance Imaging (fMRI). However, the large inter-subject variability in brain characteristics has limited most studies to train models on one subject at a time. Consequently, this approach hampers the training of deep learning models, which typically requires very large datasets. Here, we propose to boost brain decoding by aligning brain responses to videos and static images across subjects. Compared to the anatomically-aligned baseline, our method improves out-of-subject decoding performance by up to 75%. Moreover, it also outperforms classical single-subject approaches when fewer than 100 minutes of data is available for the tested subject. Furthermore, we propose a new multi-subject alignment method, which obtains comparable results to that of classical single-subject approaches while improving out-of-subject generalization. Finally, we show that this method aligns neural representations in accordance with brain anatomy. Overall, this study lays the foundations for leveraging extensive neuroimaging datasets and enhancing the decoding of individuals with a limited amount of brain recordings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google