Your Brain on ChatGPT: Accumulation of Cognitive Debt when Using an AI Assistant for Essay Writing Task

要約

この研究では、LLM支援エッセイの執筆の神経と行動の結果を探ります。
参加者は、LLM、検索エンジン、および脳のみ（ツールなし）の3つのグループに分けられました。
それぞれが同じ条件下で3つのセッションを完了しました。
4回目のセッションでは、LLMユーザーは脳専用グループ（LLMから脳へ）に再割り当てされ、脳のみのユーザーがLLM状態（脳からLLM）に再割り当てされました。
合計54人の参加者がセッション1〜3に参加し、18人がセッション4を完了しました。エッセイの執筆中に脳波（EEG）を使用して認知負荷を評価し、NLPを使用したエッセイを分析し、人間の教師とAI裁判官の助けを借りてエッセイを採点しました。
グループ間で、NER、N-GRAMパターン、およびトピックオントロジーは、グループ内の均一性を示しました。
EEGは、脳のつながりに大きな違いを明らかにしました。脳のみの参加者は、最も強く、最も分散したネットワークを示しました。
検索エンジンユーザーは、適度なエンゲージメントを示しました。
LLMユーザーは、最も弱い接続性を表示しました。
外部ツールの使用に関連して縮小された認知活動。
セッション4では、LLMから脳への参加者がアルファとベータの接続性の低下を示し、エンゲージメントが不足していることを示しています。
脳からLLMのユーザーは、検索エンジンユーザーと同様に、後頭部および前頭前野のより高いメモリリコールと活性化を示しました。
エッセイの自己報告された所有権は、LLMグループで最も低く、脳のみのグループで最も高いものでした。
また、LLMユーザーは、自分の作業を正確に引用するのに苦労しました。
LLMはすぐに便利になりますが、私たちの調査結果は潜在的な認知コストを強調しています。
4か月にわたって、LLMユーザーは一貫して神経、言語、および行動レベルでパフォーマンスが低下しました。
これらの結果は、LLMリライアンスの長期的な教育的影響に関する懸念を提起し、学習におけるAIの役割をより深く調査する必要性を強調しています。

要約(オリジナル)

This study explores the neural and behavioral consequences of LLM-assisted essay writing. Participants were divided into three groups: LLM, Search Engine, and Brain-only (no tools). Each completed three sessions under the same condition. In a fourth session, LLM users were reassigned to Brain-only group (LLM-to-Brain), and Brain-only users were reassigned to LLM condition (Brain-to-LLM). A total of 54 participants took part in Sessions 1-3, with 18 completing session 4. We used electroencephalography (EEG) to assess cognitive load during essay writing, and analyzed essays using NLP, as well as scoring essays with the help from human teachers and an AI judge. Across groups, NERs, n-gram patterns, and topic ontology showed within-group homogeneity. EEG revealed significant differences in brain connectivity: Brain-only participants exhibited the strongest, most distributed networks; Search Engine users showed moderate engagement; and LLM users displayed the weakest connectivity. Cognitive activity scaled down in relation to external tool use. In session 4, LLM-to-Brain participants showed reduced alpha and beta connectivity, indicating under-engagement. Brain-to-LLM users exhibited higher memory recall and activation of occipito-parietal and prefrontal areas, similar to Search Engine users. Self-reported ownership of essays was the lowest in the LLM group and the highest in the Brain-only group. LLM users also struggled to accurately quote their own work. While LLMs offer immediate convenience, our findings highlight potential cognitive costs. Over four months, LLM users consistently underperformed at neural, linguistic, and behavioral levels. These results raise concerns about the long-term educational implications of LLM reliance and underscore the need for deeper inquiry into AI’s role in learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google