Generating Visual Stimuli from EEG Recordings using Transformer-encoder based EEG encoder and GAN

要約

この研究では、敵対的深層学習フレームワークを使用して EEG 信号から画像を合成することを中心とした知覚脳デコードの分野における現代の研究課題に取り組みます。
具体的な目的は、被験者が画像を見ている間に得られる脳波記録を利用して、さまざまなオブジェクト カテゴリに属する​​画像を再作成することです。
これを達成するために、トランスフォーマー エンコーダ ベースの EEG エンコーダを採用して EEG エンコーディングを生成し、GAN ネットワークのジェネレータ コンポーネントへの入力として機能します。
敵対的損失に加えて、生成される画像の品質を向上させるために知覚的損失も組み込みます。

要約(オリジナル)

In this study, we tackle a modern research challenge within the field of perceptual brain decoding, which revolves around synthesizing images from EEG signals using an adversarial deep learning framework. The specific objective is to recreate images belonging to various object categories by leveraging EEG recordings obtained while subjects view those images. To achieve this, we employ a Transformer-encoder based EEG encoder to produce EEG encodings, which serve as inputs to the generator component of the GAN network. Alongside the adversarial loss, we also incorporate perceptual loss to enhance the quality of the generated images.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google