Unidirectional brain-computer interface: Artificial neural network encoding natural images to fMRI response in the visual cortex

要約

人工知能 (AI) の大幅な進歩により、さまざまな領域の進歩が促進されていますが、視覚認識の理解におけるその可能性はまだ十分に解明されていません。
私たちは、人間の脳を模倣し、神経科学の探求をどのように促進できるかを示すために、「Visual Interface System for Imaging Output of Neural activity」の頭字語である VISION と名付けられた人工ニューラル ネットワークを提案します。
このマルチモーダル モデルは、視覚的入力とコンテキスト入力を使用して、自然画像に対する脳の機能的磁気共鳴画像法 (fMRI) スキャンの反応を予測します。
VISION は、最先端のパフォーマンスを 45% 上回る精度で、視覚入力に対する fMRI ボクセル値として人間の血行力学的反応を予測することに成功しました。
さらに、訓練されたネットワークを調査して、さまざまな視覚領域における表現バイアスを明らかにし、実験的に検証可能な仮説を生成し、これらの仮説を皮質機能と関連付ける解釈可能な指標を定式化します。
モデルと評価指標の両方を使用すると、視覚野の機能分析の設計と実装に関連するコストと時間の負担を軽減できます。
私たちの研究は、計算モデルの進化が視覚野の基本的な理解を明らかにし、信頼性の高いブレインマシンインターフェースに向けた実行可能なアプローチを提供する可能性があることを示唆しています。

要約(オリジナル)

While significant advancements in artificial intelligence (AI) have catalyzed progress across various domains, its full potential in understanding visual perception remains underexplored. We propose an artificial neural network dubbed VISION, an acronym for ‘Visual Interface System for Imaging Output of Neural activity,’ to mimic the human brain and show how it can foster neuroscientific inquiries. Using visual and contextual inputs, this multimodal model predicts the brain’s functional magnetic resonance imaging (fMRI) scan response to natural images. VISION successfully predicts human hemodynamic responses as fMRI voxel values to visual inputs with an accuracy exceeding state-of-the-art performance by 45%. We further probe the trained networks to reveal representational biases in different visual areas, generate experimentally testable hypotheses, and formulate an interpretable metric to associate these hypotheses with cortical functions. With both a model and evaluation metric, the cost and time burdens associated with designing and implementing functional analysis on the visual cortex could be reduced. Our work suggests that the evolution of computational models may shed light on our fundamental understanding of the visual cortex and provide a viable approach toward reliable brain-machine interfaces.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google