Language Generation from Brain Recordings

要約

非侵襲的なブレイン・コンピューター・インターフェース（BCI）を介して人間の言語を生成すると、障害のある患者へのサービスやコミュニケーションの改善など、多くの応用が可能になる可能性があります。
しかし現在、BCI を介した言語生成は、最も可能性の高い皮質意味表現を持つ事前に生成された文継続候補を選択するための分類設定内でのみ成功しています。
脳と大規模な計算言語モデルとの関連性を明らかにした最近の研究に触発され、私たちは、大規模言語モデル (LLM) の能力をセマンティック脳デコーダーと組み合わせて利用し、機能的磁気共鳴画像法から言語を直接生成する生成言語 BCI を提案します。
（fMRI）入力。
提案されたモデルは、事前に生成された候補についての事前知識がなくても、知覚された視覚または聴覚の言語刺激の意味内容に合わせて一貫した言語シーケンスを生成できます。
提示されたモデルから生成された言語を、ランダム制御、事前に生成された言語選択アプローチ、および統計的な言語トレーニング データに基づく次の単語の可能性のみに基づいて共通の一貫したテキストを生成する標準 LLM と比較します。
提案されたモデルは、どの脳入力がサンプリングされたかに応じて、意味刺激とより一致した言語を生成することがわかりました。
私たちの調査結果は、言語の直接生成に BCI を採用する可能性と実現可能性を示しています。

要約(オリジナル)

Generating human language through non-invasive brain-computer interfaces (BCIs) has the potential to unlock many applications, such as serving disabled patients and improving communication. Currently, however, generating language via BCIs has been previously successful only within a classification setup for selecting pre-generated sentence continuation candidates with the most likely cortical semantic representation. Inspired by recent research that revealed associations between the brain and the large computational language models, we propose a generative language BCI that utilizes the capacity of a large language model (LLM) jointly with a semantic brain decoder to directly generate language from functional magnetic resonance imaging (fMRI) input. The proposed model can generate coherent language sequences aligned with the semantic content of visual or auditory language stimuli perceived, without prior knowledge of any pre-generated candidates. We compare the language generated from the presented model with a random control, pre-generated language selection approach, and a standard LLM, which generates common coherent text solely based on the next word likelihood according to statistical language training data. The proposed model is found to generate language that is more aligned with semantic stimulus in response to which brain input is sampled. Our findings demonstrate the potential and feasibility of employing BCIs in direct language generation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google