Emotional Brain State Classification on fMRI Data Using Deep Residual and Convolutional Networks

要約

機能的 MRI (fMRI) データの感情的な脳状態分類の目標は、実験中に被験者によって実行される特定の感情タスクに関連する脳活動パターンを認識することです。
fMRI データを使用して感情的な脳の状態を他の脳の状態から区別することは、次の 2 つの要因により困難であることが証明されています。短い時間枠で高速かつ正確な予測を生成することの難しさと、目に見えない対象に一般化する感情の特徴を抽出することの難しさです。
これらの課題に対処するために、fMRI を使用して脳の活動を測定しながら、22 人の被験者がネガティブ、ニュートラル、または安静の感情反応を刺激するように設計された写真を見る実験を行いました。
次に、単一の最小限の前処理 (スライス タイミングと再調整) fMRI ボリュームからの空間情報のみを使用して、感情的な脳の状態をデコードするための 2 つの異なる畳み込みベースのアプローチを開発しました。
最初のアプローチでは、一元配置分散分析 (ANOVA) ボクセル選択とハイパーアラインメントを組み合わせて 3 つの感情状態を分類するために、1D 畳み込みネットワーク (84.9% の精度、確率レベル 33%) をトレーニングしました。
2 番目のアプローチでは、3D ResNet-50 モデル (78.0% の精度、確率レベル 50%) をトレーニングして、単一の 3D fMRI ボリュームから直接 2 つの感情状態を分類しました。
当社の畳み込み分類器と残差分類器は、グループ レベルの感情特徴の学習に成功し、ミリ秒単位で fMRI ボリュームから感情状態を解読できました。
これらのアプローチは、ブレイン コンピューター インターフェイスやリアルタイム fMRI ニューロフィードバック研究で使用できる可能性があります。

要約(オリジナル)

The goal of emotional brain state classification on functional MRI (fMRI) data is to recognize brain activity patterns related to specific emotion tasks performed by subjects during an experiment. Distinguishing emotional brain states from other brain states using fMRI data has proven to be challenging due to two factors: a difficulty to generate fast yet accurate predictions in short time frames, and a difficulty to extract emotion features which generalize to unseen subjects. To address these challenges, we conducted an experiment in which 22 subjects viewed pictures designed to stimulate either negative, neutral or rest emotional responses while their brain activity was measured using fMRI. We then developed two distinct Convolution-based approaches to decode emotional brain states using only spatial information from single, minimally pre-processed (slice timing and realignment) fMRI volumes. In our first approach, we trained a 1D Convolutional Network (84.9% accuracy; chance level 33%) to classify 3 emotion conditions using One-way Analysis of Variance (ANOVA) voxel selection combined with hyperalignment. In our second approach, we trained a 3D ResNet-50 model (78.0% accuracy; chance level 50%) to classify 2 emotion conditions from single 3D fMRI volumes directly. Our Convolutional and Residual classifiers successfully learned group-level emotion features and could decode emotion conditions from fMRI volumes in milliseconds. These approaches could potentially be used in brain computer interfaces and real-time fMRI neurofeedback research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google