Integrating LLM, EEG, and Eye-Tracking Biomarker Analysis for Word-Level Neural State Classification in Semantic Inference Reading Comprehension

要約

Generative Pre-trained Transformers (GPT) などの大規模言語モデル (LLM) の最近の普及により、人間と機械による意味言語の意味の理解の探求に大きな変化が生じています。
この変化には、認知科学と自然言語処理 (NLP) の橋渡しとなる学際的な研究が必要です。
このパイロット研究は、意味関係の読解タスク中の個人の神経状態についての洞察を提供することを目的としています。
私たちは、LLM、視線、脳波（EEG）データを共同分析して、読書中にキーワードとの関連性の程度が異なる単語を脳がどのように処理するかを研究することを提案します。
また、特徴エンジニアリング アプローチを使用して、参加者がキーワードとの関連性が高い単語と低い単語を読み上げている間に、固視関連の EEG データ分類を改善します。
この単語レベルの分類における最高の検証精度は、12 件の主題にわたって 60\% 以上です。
推論キーワードとの関連性が高い単語では、単語あたりの注視数が大幅に増加しました。注視のない単語を除外した場合は 0.6576 と比較して 1.0584、それらを含めた場合は 1.4026 と比較して 1.5126 でした。
この研究は、LLM 知識を使用して脳の状態を単語レベルで分類する最初の試みを表しています。
人間の認知能力と汎用人工知能 (AGI) の領域についての貴重な洞察を提供し、潜在的な読書支援技術を開発するためのガイダンスを提供します。

要約(オリジナル)

With the recent proliferation of large language models (LLMs), such as Generative Pre-trained Transformers (GPT), there has been a significant shift in exploring human and machine comprehension of semantic language meaning. This shift calls for interdisciplinary research that bridges cognitive science and natural language processing (NLP). This pilot study aims to provide insights into individuals’ neural states during a semantic relation reading-comprehension task. We propose jointly analyzing LLMs, eye-gaze, and electroencephalographic (EEG) data to study how the brain processes words with varying degrees of relevance to a keyword during reading. We also use a feature engineering approach to improve the fixation-related EEG data classification while participants read words with high versus low relevance to the keyword. The best validation accuracy in this word-level classification is over 60\% across 12 subjects. Words of high relevance to the inference keyword had significantly more eye fixations per word: 1.0584 compared to 0.6576 when excluding no-fixation words, and 1.5126 compared to 1.4026 when including them. This study represents the first attempt to classify brain states at a word level using LLM knowledge. It provides valuable insights into human cognitive abilities and the realm of Artificial General Intelligence (AGI), and offers guidance for developing potential reading-assisted technologies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google