EEG2TEXT: Open Vocabulary EEG-to-Text Decoding with EEG Pre-Training and Multi-View Transformer

要約

人間の脳の複雑さを解読することは、何世紀にもわたって好奇心を魅了してきた。最近のブレイン・コンピューター・インターフェイス（BCI）技術の進歩、特に運動イメージを利用することで、麻痺した人が手を伸ばしたり、つかんだり、歩いたりといった運動機能を回復させることができるようになった。しかし、脳信号から自然言語を解き明かすことは、依然として困難な課題である。脳波（EEG）は、頭皮に電極を貼ることで脳の電気活動を記録する非侵襲的な技術である。EEGからテキストへのデコーディングに関するこれまでの研究では、小さなクローズド・ボキャブラリーについては高い精度を達成しているが、大きなオープン・ボキャブラリーを扱う場合には、まだ高い精度を達成するには至っていない。我々は、オープンボキャブラリーのEEG-to-textデコーディングの精度を向上させるために、EEG2TEXTという新しい手法を提案する。具体的には、EEG2TEXTはEEG信号からのセマンティクスの学習を強化するためにEEGの事前学習を活用し、脳の異なる空間領域によるEEG信号処理をモデル化するためにマルチビュー変換器を提案する。実験によれば、EEG2TEXTは優れた性能を有し、絶対BLEUスコアとROUGEスコアにおいて5%までの大きなマージンをもって、最先端のベースライン手法を凌駕している。EEG2TEXTは、コミュニケーションを促進する高性能のオープン・ボキャブラリー脳からテキストへのシステムとして大きな可能性を示している。

要約(オリジナル)

Deciphering the intricacies of the human brain has captivated curiosity for centuries. Recent strides in Brain-Computer Interface (BCI) technology, particularly using motor imagery, have restored motor functions such as reaching, grasping, and walking in paralyzed individuals. However, unraveling natural language from brain signals remains a formidable challenge. Electroencephalography (EEG) is a non-invasive technique used to record electrical activity in the brain by placing electrodes on the scalp. Previous studies of EEG-to-text decoding have achieved high accuracy on small closed vocabularies, but still fall short of high accuracy when dealing with large open vocabularies. We propose a novel method, EEG2TEXT, to improve the accuracy of open vocabulary EEG-to-text decoding. Specifically, EEG2TEXT leverages EEG pre-training to enhance the learning of semantics from EEG signals and proposes a multi-view transformer to model the EEG signal processing by different spatial regions of the brain. Experiments show that EEG2TEXT has superior performance, outperforming the state-of-the-art baseline methods by a large margin of up to 5% in absolute BLEU and ROUGE scores. EEG2TEXT shows great potential for a high-performance open-vocabulary brain-to-text system to facilitate communication.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL