Decoding Continuous Character-based Language from Non-invasive Brain Recordings

要約

非侵襲的なデバイスを介して脳活動から自然言語を解読することは、依然として困難な課題です。
従来の非侵襲的デコーダは、皮質領域を正確に特定し、脳活動の信号対雑音比を高めるために同一の刺激を用いた複数の実験を必要とするか、文字や単語などの基本的な言語要素の識別に限定されていました。
我々は、単回試行の非侵襲的 fMRI 記録から連続言語をデコードする新しいアプローチを提案します。このアプローチでは、情報ボトルネックで強化された 3 次元畳み込みネットワークが開発され、刺激に応答するボクセルを自動的に識別し、文字ベースのデコーダが設計されています。
固有の文字構造によって特徴付けられる連続言語の意味論的な再構築。
結果として得られるデコーダは、被験者内および被験者間で知覚された音声の意味を忠実に捕捉する理解可能なテキスト シーケンスを生成できますが、既存のデコーダは被験者間のコンテキストで著しく劣ったパフォーマンスを示します。
複数の被験者にわたる単一の試験から連続言語を解読できる能力は、医療と神経科学の両方における非侵襲的言語のブレイン・コンピューター・インターフェースの有望な応用を実証している。

要約(オリジナル)

Deciphering natural language from brain activity through non-invasive devices remains a formidable challenge. Previous non-invasive decoders either require multiple experiments with identical stimuli to pinpoint cortical regions and enhance signal-to-noise ratios in brain activity, or they are limited to discerning basic linguistic elements such as letters and words. We propose a novel approach to decoding continuous language from single-trial non-invasive fMRI recordings, in which a three-dimensional convolutional network augmented with information bottleneck is developed to automatically identify responsive voxels to stimuli, and a character-based decoder is designed for the semantic reconstruction of continuous language characterized by inherent character structures. The resulting decoder can produce intelligible textual sequences that faithfully capture the meaning of perceived speech both within and across subjects, while existing decoders exhibit significantly inferior performance in cross-subject contexts. The ability to decode continuous language from single trials across subjects demonstrates the promising applications of non-invasive language brain-computer interfaces in both healthcare and neuroscience.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google