Wills Aligner: Multi-Subject Collaborative Brain Visual Decoding

要約

人間の脳活動から視覚情報を解読することは、最近の研究で目覚ましい進歩を遂げています。
しかし、皮質区画化と fMRI パターンは個人によって多様であるため、各被験者に合わせた深層学習モデルの開発が促されています。
パーソナライゼーションにより、現実世界のシナリオにおける脳の視覚的デコーディングの広範な適用性が制限されます。
この問題に対処するために、複数の被験者の共同脳視覚デコーディングを実現するように設計された新しいアプローチである Wills Aligner を紹介します。
Wills Aligner は、さまざまな被験者からの fMRI データを解剖学的レベルで位置合わせすることから始まります。
次に、脳と専門家のアダプターを微妙に組み合わせ、メタ学習戦略を採用して、個々の fMRI パターンの違いを考慮します。
さらに、Wills Aligner は、視覚刺激の意味関係を活用して被験者間の共通性の学習をガイドし、各被験者が他の被験者のデータから洞察を得るために視覚的に解読できるようにします。
当社は、分類、クロスモーダル検索、画像再構成など、さまざまな視覚解読タスクにわたってウィルズ アライナーを厳密に評価しています。
実験結果は、ウィルズ アライナーが有望なパフォーマンスを達成することを示しています。

要約(オリジナル)

Decoding visual information from human brain activity has seen remarkable advancements in recent research. However, the diversity in cortical parcellation and fMRI patterns across individuals has prompted the development of deep learning models tailored to each subject. The personalization limits the broader applicability of brain visual decoding in real-world scenarios. To address this issue, we introduce Wills Aligner, a novel approach designed to achieve multi-subject collaborative brain visual decoding. Wills Aligner begins by aligning the fMRI data from different subjects at the anatomical level. It then employs delicate mixture-of-brain-expert adapters and a meta-learning strategy to account for individual fMRI pattern differences. Additionally, Wills Aligner leverages the semantic relation of visual stimuli to guide the learning of inter-subject commonality, enabling visual decoding for each subject to draw insights from other subjects’ data. We rigorously evaluate our Wills Aligner across various visual decoding tasks, including classification, cross-modal retrieval, and image reconstruction. The experimental results demonstrate that Wills Aligner achieves promising performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google