MindAligner: Explicit Brain Functional Alignment for Cross-Subject Visual Decoding from Limited fMRI Data

要約

脳のデコードは、脳の知覚メカニズムを理解するために重要なfMRIシグナルから人間の被験者の視覚的認識を再構築することを目的としています。
既存の方法は、実質的な脳の変動性のために単一被験者のパラダイムに限定されており、個人の一般化が弱くなり、fMRIデータの入手可能性が限られていることで悪化する高いトレーニングコストが発生します。
これらの課題に対処するために、限られたfMRIデータからの被験者間脳のデコードのための明示的な機能的アライメントフレームワークであるMindAlignerを提案します。
提案されたマインドアライナーは、いくつかのメリットを享受しています。
まず、既知の被験者の1つに任意の新しい被験者の脳シグナルを投影する脳移動マトリックス（BTM）を学び、事前に訓練されたデコードモデルのシームレスな使用を可能にします。
第二に、信頼性の高いBTM学習を促進するために、脳機能アライメントモジュールが提案され、多レベルの脳アライメント損失を伴う異なる視覚刺激の下でソフトクロス被験者の脳アライメントを実行し、高い解釈性との微細に密集した機能的対応を明らかにします。
実験は、マインドアリグナーが、データ制限条件下での視覚デコードの既存の方法よりも優れているだけでなく、クロス被験者の機能分析における貴重な神経科学の洞察を提供することを示しています。
コードは公開されます。

要約(オリジナル)

Brain decoding aims to reconstruct visual perception of human subject from fMRI signals, which is crucial for understanding brain’s perception mechanisms. Existing methods are confined to the single-subject paradigm due to substantial brain variability, which leads to weak generalization across individuals and incurs high training costs, exacerbated by limited availability of fMRI data. To address these challenges, we propose MindAligner, an explicit functional alignment framework for cross-subject brain decoding from limited fMRI data. The proposed MindAligner enjoys several merits. First, we learn a Brain Transfer Matrix (BTM) that projects the brain signals of an arbitrary new subject to one of the known subjects, enabling seamless use of pre-trained decoding models. Second, to facilitate reliable BTM learning, a Brain Functional Alignment module is proposed to perform soft cross-subject brain alignment under different visual stimuli with a multi-level brain alignment loss, uncovering fine-grained functional correspondences with high interpretability. Experiments indicate that MindAligner not only outperforms existing methods in visual decoding under data-limited conditions, but also provides valuable neuroscience insights in cross-subject functional analysis. The code will be made publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google