ChatGPT-BCI: Word-Level Neural State Classification Using GPT, EEG, and Eye-Tracking Biomarkers in Semantic Inference Reading Comprehension

要約

Generative Pretrained Transformers (GPT) などの大規模言語モデル (LLM) が最近爆発的に増加したことにより、人間と機械が意味論的な言語の意味を理解する能力を理解する必要性が新たな段階に入りました。
これには、認知科学と自然言語処理 (NLP) の分野をつなぐ学際的な研究が必要です。
このパイロット研究は、意味関係の読解タスク中の個人の神経状態についての洞察を提供することを目的としています。
私たちは、LLM、視線、脳波（EEG）データを共同分析して、読書中にキーワードとの関連性の程度が異なる単語を脳がどのように処理するかを研究することを提案します。
また、特徴エンジニアリング アプローチを使用して、参加者がキーワードとの関連性が高い単語と低い単語を読み上げている間に、固視関連の EEG データ分類を改善します。
この単語レベルの分類における最高の検証精度は、12 件の主題にわたって 60\% 以上です。
推論キーワードとの関連性が高い単語では、単語あたりの注視数が大幅に増加しました。注視のない単語を除外した場合は 0.6576 と比較して 1.0584、それらを含めた場合は 1.4026 と比較して 1.5126 でした。
この研究は、LLM 知識を使用して脳の状態を単語レベルで分類する最初の試みを表しています。
人間の認知能力と汎用人工知能 (AGI) の領域についての貴重な洞察を提供し、潜在的な読書支援技術を開発するためのガイダンスを提供します。

要約(オリジナル)

With the recent explosion of large language models (LLMs), such as Generative Pretrained Transformers (GPT), the need to understand the ability of humans and machines to comprehend semantic language meaning has entered a new phase. This requires interdisciplinary research that bridges the fields of cognitive science and natural language processing (NLP). This pilot study aims to provide insights into individuals’ neural states during a semantic relation reading-comprehension task. We propose jointly analyzing LLMs, eye-gaze, and electroencephalographic (EEG) data to study how the brain processes words with varying degrees of relevance to a keyword during reading. We also use a feature engineering approach to improve the fixation-related EEG data classification while participants read words with high versus low relevance to the keyword. The best validation accuracy in this word-level classification is over 60\% across 12 subjects. Words of high relevance to the inference keyword had significantly more eye fixations per word: 1.0584 compared to 0.6576 when excluding no-fixation words, and 1.5126 compared to 1.4026 when including them. This study represents the first attempt to classify brain states at a word level using LLM knowledge. It provides valuable insights into human cognitive abilities and the realm of Artificial General Intelligence (AGI), and offers guidance for developing potential reading-assisted technologies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google