Modeling cognitive processes of natural reading with transformer-based Language Models

要約

自然言語処理（NLP）の最近の進歩により、テキスト生成のために非常に洗練された言語モデルが開発されました。
並行して、神経科学はこれらのモデルをますます採用して、言語理解に関与する認知プロセスを探求しています。
以前の研究では、N-GramsやLSTMネットワークなどのモデルが、読書中の眼球運動の挙動、特に視線の持続時間を説明する際の予測可能性効果を部分的に説明できることが示されています。
この研究では、トランスベースのモデル（GPT2、LLAMA-7B、およびLLAMA2-7B）を評価して、この関係をさらに調査することにより、これらの調査結果を拡張します。
我々の結果は、これらのアーキテクチャが、リオプランティンセのスペイン語読者から記録された視線持続時間の分散を説明する際に初期のモデルを上回ることを示しています。
ただし、以前の研究と同様に、これらのモデルは、人間の予測可能性によってキャプチャされた分散全体を考慮していません。
これらの調査結果は、その進歩にもかかわらず、最先端の言語モデルが人間の読者とは異なる方法で言語を予測し続けていることを示唆しています。

要約(オリジナル)

Recent advances in Natural Language Processing (NLP) have led to the development of highly sophisticated language models for text generation. In parallel, neuroscience has increasingly employed these models to explore cognitive processes involved in language comprehension. Previous research has shown that models such as N-grams and LSTM networks can partially account for predictability effects in explaining eye movement behaviors, specifically Gaze Duration, during reading. In this study, we extend these findings by evaluating transformer-based models (GPT2, LLaMA-7B, and LLaMA2-7B) to further investigate this relationship. Our results indicate that these architectures outperform earlier models in explaining the variance in Gaze Durations recorded from Rioplantense Spanish readers. However, similar to previous studies, these models still fail to account for the entirety of the variance captured by human predictability. These findings suggest that, despite their advancements, state-of-the-art language models continue to predict language in ways that differ from human readers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google