Visual Neural Decoding via Improved Visual-EEG Semantic Consistency

要約

視覚神経デコーディングは、人間の脳活動から元の視覚体験を抽出して解釈するプロセスを指します。
計量学習ベースの EEG 視覚解読法における最近の進歩により、有望な結果が得られ、脳活動から新しい視覚カテゴリを解読できる可能性が実証されました。
ただし、EEG 特徴を CLIP 埋め込み空間に直接マッピングする方法では、マッピングのバイアスが生じ、特徴間の意味の不一致が生じる可能性があり、その結果、位置合わせが低下し、復号パフォーマンスが損なわれます。
視覚信号と神経信号の間の意味上の一貫性をさらに調査します。
この研究では、結合意味空間を構築し、最適な調整を容易にするためにこれら 2 つのモダリティの意味関連の特徴を明示的に抽出する Visual-EEG 意味分離フレームワークを提案します。
具体的には、モダリティからのセマンティック関連情報の抽出をガイドするために、クロスモーダル情報分離モジュールが導入されています。
次に、視覚画像と脳波特徴の間の相互情報を定量化することにより、復号性能と相互情報の大きさの間に強い正の相関関係が観察されました。
さらに、神経科学からの視覚的オブジェクト理解のメカニズムに触発されて、位置合わせプロセス中のクラス内の幾何学的一貫性アプローチを提案します。
この戦略は、同じクラス内の視覚サンプルを一貫したニューラル パターンにマップし、EEG 視覚デコードの堅牢性とパフォーマンスをさらに強化します。
大規模な画像脳波データセットでの実験では、私たちの方法がゼロショット ニューラル デコーディング タスクで最先端の結果を達成できることが示されています。

要約(オリジナル)

Visual neural decoding refers to the process of extracting and interpreting original visual experiences from human brain activity. Recent advances in metric learning-based EEG visual decoding methods have delivered promising results and demonstrated the feasibility of decoding novel visual categories from brain activity. However, methods that directly map EEG features to the CLIP embedding space may introduce mapping bias and cause semantic inconsistency among features, thereby degrading alignment and impairing decoding performance. To further explore the semantic consistency between visual and neural signals. In this work, we construct a joint semantic space and propose a Visual-EEG Semantic Decouple Framework that explicitly extracts the semantic-related features of these two modalities to facilitate optimal alignment. Specifically, a cross-modal information decoupling module is introduced to guide the extraction of semantic-related information from modalities. Then, by quantifying the mutual information between visual image and EEG features, we observe a strong positive correlation between the decoding performance and the magnitude of mutual information. Furthermore, inspired by the mechanisms of visual object understanding from neuroscience, we propose an intra-class geometric consistency approach during the alignment process. This strategy maps visual samples within the same class to consistent neural patterns, which further enhances the robustness and the performance of EEG visual decoding. Experiments on a large Image-EEG dataset show that our method achieves state-of-the-art results in zero-shot neural decoding tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google