Open-vocabulary Auditory Neural Decoding Using fMRI-prompted LLM

要約

脳信号からの言語情報の解読は、特に fMRI 信号からの意味情報の解読という文脈において、脳とコンピューターのインターフェイスにおける重要な研究分野を表しています。
しかし、既存の取り組みの多くは小さな語彙セットのデコードに集中しており、オープンボキャブラリーの連続テキストデコードを探求する余地が残されています。
この論文では、新しい方法である \textbf{Brain Prompt GPT (BP-GPT)} を紹介します。
fMRI から抽出された脳表現をプロンプトとして使用することで、私たちの方法は GPT-2 を利用して fMRI 信号を刺激テキストにデコードできます。
さらに、テキストからテキストへのベースラインを導入し、fMRI プロンプトをテキスト プロンプトに合わせます。
テキストからテキストへのベースラインを導入することで、BP-GPT はより堅牢な脳プロンプトを抽出し、事前トレーニングされた LLM のデコードを促進できます。
オープンソースの聴覚意味解読データセットで BP-GPT を評価し、最先端の方法と比較して、すべての被験者で METEOR で最大 $4.61\%$、BERTScore で $2.43\%$ という大幅な改善を達成しました。
。
実験結果は、聴覚神経復号化のために LLM をさらに駆動するためのプロンプトとして脳表現を使用することが実現可能かつ効果的であることを示しています。

要約(オリジナル)

Decoding language information from brain signals represents a vital research area within brain-computer interfaces, particularly in the context of deciphering the semantic information from the fMRI signal. However, many existing efforts concentrate on decoding small vocabulary sets, leaving space for the exploration of open vocabulary continuous text decoding. In this paper, we introduce a novel method, the \textbf{Brain Prompt GPT (BP-GPT)}. By using the brain representation that is extracted from the fMRI as a prompt, our method can utilize GPT-2 to decode fMRI signals into stimulus text. Further, we introduce a text-to-text baseline and align the fMRI prompt to the text prompt. By introducing the text-to-text baseline, our BP-GPT can extract a more robust brain prompt and promote the decoding of pre-trained LLM. We evaluate our BP-GPT on the open-source auditory semantic decoding dataset and achieve a significant improvement up to $4.61\%$ on METEOR and $2.43\%$ on BERTScore across all the subjects compared to the state-of-the-art method. The experimental results demonstrate that using brain representation as a prompt to further drive LLM for auditory neural decoding is feasible and effective.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google