Investigating the Timescales of Language Processing with EEG and Language Models

要約

この研究は、事前にトレーニングされたトランスフォーマーベースの言語モデルからの単語表現とEEGデータの間の整合性を調べることにより、言語処理の時間的ダイナミクスを調査します。
私たちは、時間応答関数 (TRF) モデルを使用して、神経活動がさまざまな層にわたるモデル表現にどのように対応するかを調査し、人工言語モデルと言語理解時の脳反応の間の相互作用についての洞察を明らかにします。
私たちの分析により、異なる層からの TRF のパターンが明らかになり、語彙および構成処理へのさまざまな寄与が強調されます。
さらに、線形判別分析 (LDA) を使用して品詞 (POS) 表現を分離し、神経応答に対する影響と構文処理の基礎となるメカニズムについての洞察を提供しました。
これらの発見は、高い時間分解能で言語処理ダイナミクスを調査するためのEEGの有用性を強調しています。
この研究は、人工言語モデルと神経活動の橋渡しをすることで、細かいタイムスケールでのそれらの相互作用の理解を進めます。

要約(オリジナル)

This study explores the temporal dynamics of language processing by examining the alignment between word representations from a pre-trained transformer-based language model, and EEG data. Using a Temporal Response Function (TRF) model, we investigate how neural activity corresponds to model representations across different layers, revealing insights into the interaction between artificial language models and brain responses during language comprehension. Our analysis reveals patterns in TRFs from distinct layers, highlighting varying contributions to lexical and compositional processing. Additionally, we used linear discriminant analysis (LDA) to isolate part-of-speech (POS) representations, offering insights into their influence on neural responses and the underlying mechanisms of syntactic processing. These findings underscore EEG’s utility for probing language processing dynamics with high temporal resolution. By bridging artificial language models and neural activity, this study advances our understanding of their interaction at fine timescales.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google