Integrating large language models and active inference to understand eye movements in reading and dyslexia

要約

階層的能動推論を使用して読書と目の動きをシミュレートする新しい計算モデルを紹介します。
このモデルは、言語処理を階層生成モデル上の推論として特徴づけ、音節から文に至るまで、さまざまな粒度レベルでの予測と推論を容易にします。
私たちのアプローチは、現実的なテキスト予測のための大規模言語モデルの長所と、目の動きを有益なテキスト情報に導くための能動推論の長所を組み合わせて、予測のテストを可能にします。
このモデルは、読み取りの二重ルート理論における語彙ルートと非語彙ルートの区別を遵守し、既知と未知の両方の単語と文を読む習熟度を示します。
特に、私たちのモデルは、失読症などの読書中の目の動きに対する不適応推論の影響の調査を可能にします。
この状態をシミュレートするために、読み取りプロセス中に事前分布の寄与を減衰させます。これにより、誤った推論が発生し、より多くの短いサッケードによって特徴付けられる、より断片化された読み取りスタイルが生じます。
失読症の人の眼球運動に関する経験的発見とのこの一致は、読書と眼球運動の根底にある認知プロセス、および失読症に関連する読解障害が不適応な予測処理からどのように現れるかを理解するのに役立つこのモデルの可能性を強調しています。
要約すると、私たちのモデルは、読書と目の動きに関係する複雑な認知プロセスの理解における大幅な進歩を示しており、不適応推論のシミュレーションを通じてディスレクシアの理解と対処に潜在的な意味をもたらします。
それはこの状態に関する貴重な洞察を提供し、より効果的な治療介入の開発に貢献する可能性があります。

要約(オリジナル)

We present a novel computational model employing hierarchical active inference to simulate reading and eye movements. The model characterizes linguistic processing as inference over a hierarchical generative model, facilitating predictions and inferences at various levels of granularity, from syllables to sentences. Our approach combines the strengths of large language models for realistic textual predictions and active inference for guiding eye movements to informative textual information, enabling the testing of predictions. The model exhibits proficiency in reading both known and unknown words and sentences, adhering to the distinction between lexical and nonlexical routes in dual-route theories of reading. Notably, our model permits the exploration of maladaptive inference effects on eye movements during reading, such as in dyslexia. To simulate this condition, we attenuate the contribution of priors during the reading process, leading to incorrect inferences and a more fragmented reading style, characterized by a greater number of shorter saccades. This alignment with empirical findings regarding eye movements in dyslexic individuals highlights the model’s potential to aid in understanding the cognitive processes underlying reading and eye movements, as well as how reading deficits associated with dyslexia may emerge from maladaptive predictive processing. In summary, our model represents a significant advancement in comprehending the intricate cognitive processes involved in reading and eye movements, with potential implications for understanding and addressing dyslexia through the simulation of maladaptive inference. It may offer valuable insights into this condition and contribute to the development of more effective interventions for treatment.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google