BELT:Bootstrapping Electroencephalography-to-Language Decoding and Zero-Shot Sentiment Classification by Natural Language Supervision

要約

この論文では、脳から言語への翻訳研究という極めて重要なテーマのための新しいモデルおよび学習フレームワークである BELT を紹介します。
非侵襲的な脳信号から可読な自然言語への翻訳は、応用シナリオだけでなく、ブレイン コンピューター インターフェイス (BCI) 全体の開発も促進する可能性があります。
脳信号のデコードや脳から言語への翻訳における重大な問題は、限られた規模と品質のデータセットから意味的に適切で識別可能な EEG 表現を取得することです。
提案された BELT 法は、既製の大規模な事前学習済み言語モデル (LM) を使用して EEG 表現学習をブートストラップする、汎用的で効率的なフレームワークです。
意味情報とゼロショット汎化を理解する大規模な LM の能力を備えた BELT は、インターネット規模のデータセットでトレーニングされた大規模な LM を利用して、EEG 信号の理解に大幅な改善をもたらします。
特に、BELT モデルはディープコンフォーマーエンコーダーとベクトル量子化エンコーダーで構成されます。
意味的な EEG 表現は、自然言語による監視を提供する対照的な学習ステップによって実現されます。
私たちは、脳から言語への翻訳とゼロショット感情分類を含む 2 つの脳解読タスクで最先端の結果を達成しました。
具体的には、私たちのモデルは両方のタスクでベースライン モデルを 5.45% および 10% 以上上回り、翻訳とゼロショット感情分類の主要な評価指標でそれぞれ 42.31% の BLEU-1 スコアと 67.32% の精度を記録しています。

要約(オリジナル)

This paper presents BELT, a novel model and learning framework for the pivotal topic of brain-to-language translation research. The translation from noninvasive brain signals into readable natural language has the potential to promote the application scenario as well as the development of brain-computer interfaces (BCI) as a whole. The critical problem in brain signal decoding or brain-to-language translation is the acquisition of semantically appropriate and discriminative EEG representation from a dataset of limited scale and quality. The proposed BELT method is a generic and efficient framework that bootstraps EEG representation learning using off-the-shelf large-scale pretrained language models (LMs). With a large LM’s capacity for understanding semantic information and zero-shot generalization, BELT utilizes large LMs trained on Internet-scale datasets to bring significant improvements to the understanding of EEG signals. In particular, the BELT model is composed of a deep conformer encoder and a vector quantization encoder. Semantical EEG representation is achieved by a contrastive learning step that provides natural language supervision. We achieve state-of-the-art results on two featuring brain decoding tasks including the brain-to-language translation and zero-shot sentiment classification. Specifically, our model surpasses the baseline model on both tasks by 5.45% and over 10% and archives a 42.31% BLEU-1 score and 67.32% precision on the main evaluation metrics for translation and zero-shot sentiment classification respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google