Brain-grounding of semantic vectors improves neural decoding of visual stimuli

要約

精神内容を正確かつ包括的に神経的に解読するためのアルゴリズムを開発することは、神経科学およびブレインマシンインターフェイスの分野における長年の目標の 1 つです。
これまでの研究では、機械学習モデルをトレーニングして脳の活動パターンを刺激の意味論的なベクトル表現にマッピングすることによるニューラル デコードの実現可能性が実証されています。
これらのベクトル (以下、事前学習済み特徴ベクトルと呼びます) は、通常、画像および/またはテキストの特徴のみに基づいた意味空間から導出されるため、人間の脳内で視覚刺激が表現される方法とはまったく異なる特性を持つ可能性があり、その結果、能力が制限されます。
このマッピングを学習する脳デコーダーの数。
この問題に対処するために、意味ベクトルのブレイングラウンディングと呼ばれる表現学習フレームワークを提案します。これは、人間の脳における視覚刺激の神経表現とよりよく一致するように事前学習された特徴ベクトルを微調整します。
このモデルを 150 の異なる視覚刺激カテゴリの機能的磁気共鳴画像法 (fMRI) でトレーニングし、次に 1) fMRI と 2) 脳磁図 (MEG) でゼロショット脳デコードおよび識別分析を実行しました。
興味深いことに、脳接地ベクトルを使用することにより、さまざまな神経画像モダリティからの脳データの脳のデコードと識別の精度が向上することが観察されました。
これらの発見は、脳デコード アルゴリズムのパフォーマンスを向上させるために、脳由来の機能をより豊富に組み込むことができる可能性を強調しています。

要約(オリジナル)

Developing algorithms for accurate and comprehensive neural decoding of mental contents is one of the long-cherished goals in the field of neuroscience and brain-machine interfaces. Previous studies have demonstrated the feasibility of neural decoding by training machine learning models to map brain activity patterns into a semantic vector representation of stimuli. These vectors, hereafter referred as pretrained feature vectors, are usually derived from semantic spaces based solely on image and/or text features and therefore they might have a totally different characteristics than how visual stimuli is represented in the human brain, resulting in limiting the capability of brain decoders to learn this mapping. To address this issue, we propose a representation learning framework, termed brain-grounding of semantic vectors, which fine-tunes pretrained feature vectors to better align with the neural representation of visual stimuli in the human brain. We trained this model this model with functional magnetic resonance imaging (fMRI) of 150 different visual stimuli categories, and then performed zero-shot brain decoding and identification analyses on 1) fMRI and 2) magnetoencephalography (MEG). Interestingly, we observed that by using the brain-grounded vectors, the brain decoding and identification accuracy on brain data from different neuroimaging modalities increases. These findings underscore the potential of incorporating a richer array of brain-derived features to enhance performance of brain decoding algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google