Navigating Brain Language Representations: A Comparative Analysis of Neural Language Models and Psychologically Plausible Models

要約

神経言語モデル、特に大規模モデルは、さまざまな研究にわたって脳の神経活動を予測するのに最も効果的であることが一貫して証明されています。
しかし、これまでの研究では、これらのモデルと心理学的にもっともらしいモデルとの比較が見落とされていました。
さらに、評価は限定された単一モダリティの英語の認知データセットに依存していました。
これらの疑問に対処するために、さまざまなニューラル言語モデルと心理学的に妥当なモデルのエンコード性能を比較する分析を実施しました。
私たちの研究では、広範なマルチモーダル認知データセットを利用し、バイリンガルの単語と談話レベルを調査しました。
驚くべきことに、私たちの調査結果は、fMRIや視線追跡などのさまざまなモダリティを網羅し、英語から中国語までの言語にわたる多様な状況において、心理学的にもっともらしいモデルが神経言語モデルよりも優れたパフォーマンスを発揮したことを明らかにしました。
心理学的にもっともらしいモデルの中で、具体化された情報を組み込んだモデルは特に例外的なものとして浮上しました。
このモデルは、単語レベルと談話レベルの両方で優れたパフォーマンスを示し、英語と中国語の両方の多数の領域にわたる脳活性化の確実な予測を示しました。

要約(オリジナル)

Neural language models, particularly large-scale ones, have been consistently proven to be most effective in predicting brain neural activity across a range of studies. However, previous research overlooked the comparison of these models with psychologically plausible ones. Moreover, evaluations were reliant on limited, single-modality, and English cognitive datasets. To address these questions, we conducted an analysis comparing encoding performance of various neural language models and psychologically plausible models. Our study utilized extensive multi-modal cognitive datasets, examining bilingual word and discourse levels. Surprisingly, our findings revealed that psychologically plausible models outperformed neural language models across diverse contexts, encompassing different modalities such as fMRI and eye-tracking, and spanning languages from English to Chinese. Among psychologically plausible models, the one incorporating embodied information emerged as particularly exceptional. This model demonstrated superior performance at both word and discourse levels, exhibiting robust prediction of brain activation across numerous regions in both English and Chinese.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google