Ensemble of Task-Specific Language Models for Brain Encoding

要約

言語モデルは、私たちの脳内の特定の関心領域の fMRI 活性化をコード化するのに十分な量であることが示されています。
これまでの研究では、脳の反応を予測するための一般的な自然言語処理タスク用に学習された表現からの転移学習が検討されてきました。
私たちの研究では、10 の一般的な言語モデル (2 つの構文と 8 つの意味) からアンサンブル モデルを作成することにより、このようなエンコーダーのパフォーマンスを向上させます。
アンサンブル手法により、すべての ROI で現在のベースラインを平均して 10% 上回りました。

要約(オリジナル)

Language models have been shown to be rich enough to encode fMRI activations of certain Regions of Interest in our Brains. Previous works have explored transfer learning from representations learned for popular natural language processing tasks for predicting brain responses. In our work, we improve the performance of such encoders by creating an ensemble model out of 10 popular Language Models (2 syntactic and 8 semantic). We beat the current baselines by 10% on average across all ROIs through our ensembling methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google