Brainformer: Mimic Human Visual Brain Functions to Machine Vision Models via fMRI

要約

人間の知覚は、信念を形成し、現実を理解する上で重要な役割を果たします。
脳の機能をより深く理解することは、新しいディープニューラルネットワークの開発につながります。
この研究では、人間の知覚システムにおける機能的磁気共鳴画像法 (fMRI) パターンを機械学習の観点から分析するための、単純かつ効果的な Transformer ベースのフレームワークである Brainformer という名前の新しいフレームワークを紹介します。
具体的には、fMRI 信号を通じて脳活動パターンを探索するためのマルチスケール fMRI Transformer を紹介します。
このアーキテクチャには、高次元 fMRI 信号エンコード用のシンプルかつ効率的なモジュールが含まれており、3D ボクセル埋め込みと呼ばれる新しい埋め込み技術が組み込まれています。
次に、脳の関心領域の機能からインスピレーションを得て、脳 fMRI ガイダンス損失と呼ばれる新しい損失関数を導入します。
この損失関数は、fMRI データを使用して深層ニューラル ネットワークのこれらの領域からの脳活動パターンを模倣します。
この研究では、人間の知覚からニューラル ネットワークに知識を伝達するための前向きなアプローチを紹介します。
私たちの実験は、fMRI 情報を活用することで、マシン ビジョン モデルがさまざまな画像認識タスクにおいて最先端の手法に匹敵する結果を達成できることを示しています。

要約(オリジナル)

Human perception plays a vital role in forming beliefs and understanding reality. A deeper understanding of brain functionality will lead to the development of novel deep neural networks. In this work, we introduce a novel framework named Brainformer, a straightforward yet effective Transformer-based framework, to analyze Functional Magnetic Resonance Imaging (fMRI) patterns in the human perception system from a machine-learning perspective. Specifically, we present the Multi-scale fMRI Transformer to explore brain activity patterns through fMRI signals. This architecture includes a simple yet efficient module for high-dimensional fMRI signal encoding and incorporates a novel embedding technique called 3D Voxels Embedding. Secondly, drawing inspiration from the functionality of the brain’s Region of Interest, we introduce a novel loss function called Brain fMRI Guidance Loss. This loss function mimics brain activity patterns from these regions in the deep neural network using fMRI data. This work introduces a prospective approach to transferring knowledge from human perception to neural networks. Our experiments demonstrate that leveraging fMRI information allows the machine vision model to achieve results comparable to State-of-the-Art methods in various image recognition tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google