fMRI predictors based on language models of increasing complexity recover brain left lateralization

要約

過去 10 年にわたり、参加者が連続テキストを聞きながらスキャンされる自然主義的言語処理の研究が盛んになりました。
最初に単語の埋め込みを使用し、次に大規模な言語モデルを使用して、研究者は脳信号を分析するためのエンコーディング モデルを作成しました。
これらのモデルに参加者と同じテキストを提示すると、機能的磁気共鳴画像法 (fMRI) の時系列とモデルの人工ニューロンによって予測された時系列との間に有意な相関関係がある脳領域を特定できます。
これらの研究から得られた興味深い発見の 1 つは、よく知られている言語処理の左側化とは多少矛盾する、非常に対称的な両側性活性化パターンを明らかにしたことです。
ここでは、1 億 2400 万から 14.2B のパラメーターにわたる、8 つの異なるファミリーからの 28 の事前トレーニング済みモデルをテストして、大規模な言語モデルの複雑さを操作する fMRI データセットの分析を報告します。
まず、脳の反応を予測するモデルのパフォーマンスはスケーリング則に従っていることが観察されます。つまり、脳の活動との適合性は、モデルのパラメーター数 (および自然言語処理タスクでのパフォーマンス) の対数に応じて線形に増加します。
第二に、この効果は両半球に存在しますが、右半球よりも左半球の方が強いです。
具体的には、脳の相関関係における左右差は、パラメーターの数に応じたスケーリング則に従います。
この発見は、大規模な言語モデルを使用した脳活動のコンピューター分析と、言語に対する左半球優位を示す失語症患者からの古典的な観察とを一致させるものである。

要約(オリジナル)

Over the past decade, studies of naturalistic language processing where participants are scanned while listening to continuous text have flourished. Using word embeddings at first, then large language models, researchers have created encoding models to analyze the brain signals. Presenting these models with the same text as the participants allows to identify brain areas where there is a significant correlation between the functional magnetic resonance imaging (fMRI) time series and the ones predicted by the models’ artificial neurons. One intriguing finding from these studies is that they have revealed highly symmetric bilateral activation patterns, somewhat at odds with the well-known left lateralization of language processing. Here, we report analyses of an fMRI dataset where we manipulate the complexity of large language models, testing 28 pretrained models from 8 different families, ranging from 124M to 14.2B parameters. First, we observe that the performance of models in predicting brain responses follows a scaling law, where the fit with brain activity increases linearly with the logarithm of the number of parameters of the model (and its performance on natural language processing tasks). Second, although this effect is present in both hemispheres, it is stronger in the left than in the right hemisphere. Specifically, the left-right difference in brain correlation follows a scaling law with the number of parameters. This finding reconciles computational analyses of brain activity using large language models with the classic observation from aphasic patients showing left hemisphere dominance for language.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google