Causal Graph in Language Model Rediscovers Cortical Hierarchy in Human Narrative Processing

要約

人間が自然言語をどのように処理するかを理解することは、長い間重要な研究の方向性でした。
自然言語処理 (NLP) の分野では、最近、強力な言語モデルの開発が急増しています。
これらのモデルは、人間の言語を処理することが知られている別の複雑なシステムである脳を研究するための非常に貴重なツールであることが証明されています。
これまでの研究では、言語モデルの特徴を fMRI の脳活動にマッピングできることが実証されています。
これにより、言語モデルにおける情報処理と人間の脳との間に共通点はあるのかという疑問が生じます。
言語モデルにおける情報の流れのパターンを推定するために、さまざまな層間の因果関係を調べました。
私たちは、意識のワークスペース フレームワークからインスピレーションを得て、より多くの情報を統合する機能により、より高い階層の脳活動をより正確に予測できると仮説を立てました。
この仮説を検証するために、因果ネットワークの尺度に基づいて言語モデルの特徴を 2 つのカテゴリ (「低次数」と「高次数」) に分類しました。
その後、これら 2 つのグループの脳予測精度マップを比較しました。
私たちの結果は、予測精度の違いが階層パターンに従い、活動時定数によって明らかにされる皮質階層マップと一致していることを明らかにしました。
この発見は、言語モデルと人間の脳が言語情報を処理する方法との間に類似点があることを示唆しています。

要約(オリジナル)

Understanding how humans process natural language has long been a vital research direction. The field of natural language processing (NLP) has recently experienced a surge in the development of powerful language models. These models have proven to be invaluable tools for studying another complex system known to process human language: the brain. Previous studies have demonstrated that the features of language models can be mapped to fMRI brain activity. This raises the question: is there a commonality between information processing in language models and the human brain? To estimate information flow patterns in a language model, we examined the causal relationships between different layers. Drawing inspiration from the workspace framework for consciousness, we hypothesized that features integrating more information would more accurately predict higher hierarchical brain activity. To validate this hypothesis, we classified language model features into two categories based on causal network measures: ‘low in-degree’ and ‘high in-degree’. We subsequently compared the brain prediction accuracy maps for these two groups. Our results reveal that the difference in prediction accuracy follows a hierarchical pattern, consistent with the cortical hierarchy map revealed by activity time constants. This finding suggests a parallel between how language models and the human brain process linguistic information.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google