UMBRAE: Unified Multimodal Brain Decoding

要約

私たちは、文献では正確な空間情報がほとんど復元されておらず、主題固有のモデルが必要であるという観察から離れて、脳を活用した研究の一般的な課題に取り組みます。
これらの課題に対処するために、私たちは脳信号の統合マルチモーダル復号化である UMBRAE を提案します。
まず、ニューラル信号からインスタンスレベルの概念および空間の詳細を抽出するために、マルチモーダル脳アラインメントのための効率的なユニバーサルブレインエンコーダーを導入し、後続のマルチモーダル大規模言語モデル (MLLM) から複数レベルの粒度でオブジェクトの記述を復元します。
次に、被験者固有の特徴を共通の特徴空間にマッピングする、被験者を超えたトレーニング戦略を導入します。
これにより、追加のリソースを使用せずにモデルを複数の主題でトレーニングでき、主題固有のモデルと比較して優れた結果も得られます。
さらに、これがトレーニング データ全体の一部のみを使用して、新しい被験者に対する弱く教師付きの適応をサポートしていることを実証します。
実験では、UMBRAE が新しく導入されたタスクで優れた結果を達成するだけでなく、十分に確立されたタスクでも手法を上回ることが実証されています。
私たちの方法を評価するために、私たちは包括的な脳理解ベンチマーク BrainHub を構築し、コミュニティと共有します。
コードとベンチマークは https://weihaox.github.io/UMBRAE で入手できます。

要約(オリジナル)

We address prevailing challenges of the brain-powered research, departing from the observation that the literature hardly recover accurate spatial information and require subject-specific models. To address these challenges, we propose UMBRAE, a unified multimodal decoding of brain signals. First, to extract instance-level conceptual and spatial details from neural signals, we introduce an efficient universal brain encoder for multimodal-brain alignment and recover object descriptions at multiple levels of granularity from subsequent multimodal large language model (MLLM). Second, we introduce a cross-subject training strategy mapping subject-specific features to a common feature space. This allows a model to be trained on multiple subjects without extra resources, even yielding superior results compared to subject-specific models. Further, we demonstrate this supports weakly-supervised adaptation to new subjects, with only a fraction of the total training data. Experiments demonstrate that UMBRAE not only achieves superior results in the newly introduced tasks but also outperforms methods in well established tasks. To assess our method, we construct and share with the community a comprehensive brain understanding benchmark BrainHub. Our code and benchmark are available at https://weihaox.github.io/UMBRAE.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google