Information-Restricted Neural Language Models Reveal Different Brain Regions’ Sensitivity to Semantics, Syntax and Context

要約

神経言語学における基本的な問題は、語彙 (ワープロ) レベルと超語彙レベル (文と談話処理) の両方で、音声理解中の構文および意味処理に関与する脳領域に関するものです。
これらの領域は、どの程度離れているか、または絡み合っているか?
この問題に対処するために、構文または意味情報のいずれかを選択的に削除したテキスト コーパスで、字句言語モデル Glove と超字句言語モデル GPT-2 をトレーニングしました。
次に、これらの情報が制限されたモデルが、自然主義的なテキストを聞いている人間の fMRI 信号の時間経過をどの程度予測できるかを評価しました。
また、語彙超処理に関与する脳領域の統合のウィンドウを決定するために、GPT-2 に提供されるコンテキスト情報のサイズを操作しました。
私たちの分析は、言語に関与するほとんどの脳領域が構文変数と意味変数の両方に敏感である一方で、これらの効果の相対的な大きさはこれらの領域間で大きく異なることを示しています.
さらに、左半球と右半球の間に非対称性があり、意味処理と構文処理は右半球よりも左半球でより分離されており、左半球と右半球はそれぞれ短いコンテキストと長いコンテキストに対してより高い感度を示しています。
このように、情報が制限された NLP モデルを使用することで、構文処理、意味処理、構成性の空間構成に新たな光が当てられます。

要約(オリジナル)

A fundamental question in neurolinguistics concerns the brain regions involved in syntactic and semantic processing during speech comprehension, both at the lexical (word processing) and supra-lexical levels (sentence and discourse processing). To what extent are these regions separated or intertwined? To address this question, we trained a lexical language model, Glove, and a supra-lexical language model, GPT-2, on a text corpus from which we selectively removed either syntactic or semantic information. We then assessed to what extent these information-restricted models were able to predict the time-courses of fMRI signal of humans listening to naturalistic text. We also manipulated the size of contextual information provided to GPT-2 in order to determine the windows of integration of brain regions involved in supra-lexical processing. Our analyses show that, while most brain regions involved in language are sensitive to both syntactic and semantic variables, the relative magnitudes of these effects vary a lot across these regions. Furthermore, we found an asymmetry between the left and right hemispheres, with semantic and syntactic processing being more dissociated in the left hemisphere than in the right, and the left and right hemispheres showing respectively greater sensitivity to short and long contexts. The use of information-restricted NLP models thus shed new light on the spatial organization of syntactic processing, semantic processing and compositionality.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google