Joint processing of linguistic properties in brains and language models

要約

言語モデルは、複雑な言語刺激を経験している被験者の脳記録を予測するのに非常に効果的であることが示されています。
この整合性をより深く理解するには、人間の脳による言語情報の詳細な処理と言語モデルとの対応関係を理解することが重要です。
私たちはこの対応関係を直接的なアプローチで調査し、言語モデル表現内の特定の言語特性に関連する情報を排除し、この介入が参加者が話を聞いている間に得られた fMRI 脳記録との整合にどのような影響を与えるかを観察します。
私たちは、さまざまな言語特性 (表面、構文、意味論) を調査し、それぞれを除去すると脳の整合性が大幅に低下することがわかりました。
具体的には、構文プロパティ (つまり、上位構成要素とツリーの深さ) が、モデル層全体の脳の調整の傾向に最も大きな影響を与えることがわかりました。
これらの発見は、脳モデルと言語モデルの間の調整における特定の言語情報の役割について明確な証拠を提供し、両方のシステムにおける共同情報処理をマッピングするための新しい道を開きます。
コードは公開されています [https://github.com/subbareddy248/linguistic-properties-brain-alignment]。

要約(オリジナル)

Language models have been shown to be very effective in predicting brain recordings of subjects experiencing complex language stimuli. For a deeper understanding of this alignment, it is important to understand the correspondence between the detailed processing of linguistic information by the human brain versus language models. We investigate this correspondence via a direct approach, in which we eliminate information related to specific linguistic properties in the language model representations and observe how this intervention affects the alignment with fMRI brain recordings obtained while participants listened to a story. We investigate a range of linguistic properties (surface, syntactic, and semantic) and find that the elimination of each one results in a significant decrease in brain alignment. Specifically, we find that syntactic properties (i.e. Top Constituents and Tree Depth) have the largest effect on the trend of brain alignment across model layers. These findings provide clear evidence for the role of specific linguistic information in the alignment between brain and language models, and open new avenues for mapping the joint information processing in both systems. We make the code publicly available [https://github.com/subbareddy248/linguistic-properties-brain-alignment].

arxiv情報

提供元, 利用サービス

arxiv.jp, Google