Thought2Text: Text Generation from EEG Signal using Large Language Models (LLMs)

要約

脳の活動を理解できる形で解読して表現することは、AIの挑戦的なフロンティアです。
このホワイトペーパーでは、この目標を達成するためにEEGデータで微調整された命令チューニングされた大手言語モデル（LLMS）を使用するThought2Textを提示します。
このアプローチには、3つの段階が含まれます。（1）視覚機能抽出のためのEEGエンコーダーのトレーニング、（2）画像とテキストデータのLLMSの微調整、マルチモーダルの説明生成の有効化、および（3）EEG埋め込みのさらに微調整をテキスト生成する
推論中のEEGから直接。
画像刺激とテキストキャプションを持つ6人の被験者に対して収集された公開EEGデータセットの実験は、従来の言語生成評価指標を使用して検証されたマルチモーダルLLMS（LLAMA-V3、Mistral-V0.3、QWEN2.5）の有効性を示しています。
および妥当性測定。
このアプローチは、神経科学と自然言語処理の両方で潜在的なアプリケーションを備えた、ポータブルで低コストの「思考からテキストへの」テクノロジーに対する大きな進歩を示しています。

要約(オリジナル)

Decoding and expressing brain activity in a comprehensible form is a challenging frontier in AI. This paper presents Thought2Text, which uses instruction-tuned Large Language Models (LLMs) fine-tuned with EEG data to achieve this goal. The approach involves three stages: (1) training an EEG encoder for visual feature extraction, (2) fine-tuning LLMs on image and text data, enabling multimodal description generation, and (3) further fine-tuning on EEG embeddings to generate text directly from EEG during inference. Experiments on a public EEG dataset collected for six subjects with image stimuli and text captions demonstrate the efficacy of multimodal LLMs (LLaMA-v3, Mistral-v0.3, Qwen2.5), validated using traditional language generation evaluation metrics, as well as fluency and adequacy measures. This approach marks a significant advancement towards portable, low-cost ‘thoughts-to-text’ technology with potential applications in both neuroscience and natural language processing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google