Sequential Transfer Learning to Decode Heard and Imagined Timbre from fMRI Data

要約

我々は、機能的磁気共鳴画像法（fMRI）データに対する変圧器の逐次伝達学習フレームワークを提示し、音楽の音色をデコードする際のその大きな利点を実証します。
2 つのフェーズのうちの最初のフェーズでは、fMRI データのあるシーケンスが別のシーケンスに続くかどうかを予測する自己教師ありタスクである Next Thought Prediction でスタックド エンコーダ トランスフォーマ アーキテクチャを事前トレーニングします。
この段階では、神経活動の時間的および空間的ダイナミクスについての一般的な理解を与え、任意の fMRI データセットに適用できます。
第 2 フェーズでは、事前トレーニングされたモデルを微調整し、同じ音楽の音色を聴きながら fMRI データの 2 つのシーケンスが記録されたかどうかを予測するという教師ありタスクで追加の新しいモデルをトレーニングします。
微調整されたモデルは、新鮮なモデルよりも短いトレーニング時間で大幅に高い精度を達成し、fMRI データの転移学習を促進するためのフレームワークの有効性を示しています。
さらに、微調整タスクにより、標準的な方法を超えるレベルの分類粒度が達成されます。
この研究は、fMRI データの逐次伝達学習のための変換器アーキテクチャに関する文献の増加に貢献し、私たちのフレームワークが音色をデコードする現在の方法よりも改善されているという証拠を提供します。

要約(オリジナル)

We present a sequential transfer learning framework for transformers on functional Magnetic Resonance Imaging (fMRI) data and demonstrate its significant benefits for decoding musical timbre. In the first of two phases, we pre-train our stacked-encoder transformer architecture on Next Thought Prediction, a self-supervised task of predicting whether or not one sequence of fMRI data follows another. This phase imparts a general understanding of the temporal and spatial dynamics of neural activity, and can be applied to any fMRI dataset. In the second phase, we fine-tune the pre-trained models and train additional fresh models on the supervised task of predicting whether or not two sequences of fMRI data were recorded while listening to the same musical timbre. The fine-tuned models achieve significantly higher accuracy with shorter training times than the fresh models, demonstrating the efficacy of our framework for facilitating transfer learning on fMRI data. Additionally, our fine-tuning task achieves a level of classification granularity beyond standard methods. This work contributes to the growing literature on transformer architectures for sequential transfer learning on fMRI data, and provides evidence that our framework is an improvement over current methods for decoding timbre.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google