From Brainwaves to Brain Scans: A Robust Neural Network for EEG-to-fMRI Synthesis

要約

機能的磁気共鳴画像（fMRI）は脳の活動に関する貴重な洞察を提供しますが、高い運用コストと重要なインフラストラクチャの要求によって制限されています。
対照的に、脳波（EEG）は、電気的活動のキャプチャにおいてミリ秒レベルの精度を提供しますが、正確な神経局在化に必要な空間的忠実度がありません。
これらのギャップを埋めるために、低コストのEEGデータからfMRI画像を合成するためのシンプルで効果的な深い学習モデルであるE2FNETを提案します。
E2FNETは、EEGからの有意義なマルチスケール機能を、電極チャネル全体のEEGからの正確なfMRI表現にキャプチャして変換するように特別に設計されたエンコーダーデコーダーネットワークです。
3つのパブリックデータセットにわたる広範な評価は、E2FNETが既存のCNNベースおよび変圧器ベースの方法を常に上回り、構造類似性インデックス測定（SSIM）の観点から最先端の結果を達成することを示しています。
これらの結果は、E2FNETがニューロイメージング機能を強化するための有望で費用対効果の高いソリューションであることを示しています。
このコードはhttps://github.com/kgr20/e2fnetで入手できます。

要約(オリジナル)

While functional magnetic resonance imaging (fMRI) offers valuable insights into brain activity, it is limited by high operational costs and significant infrastructural demands. In contrast, electroencephalography (EEG) provides millisecond-level precision in capturing electrical activity but lacks the spatial fidelity necessary for precise neural localization. To bridge these gaps, we propose E2fNet, a simple yet effective deep learning model for synthesizing fMRI images from low-cost EEG data. E2fNet is an encoder-decoder network specifically designed to capture and translate meaningful multi-scale features from EEG across electrode channels into accurate fMRI representations. Extensive evaluations across three public datasets demonstrate that E2fNet consistently outperforms existing CNN- and transformer-based methods, achieving state-of-the-art results in terms of the structural similarity index measure (SSIM). These results demonstrate that E2fNet is a promising, cost-effective solution for enhancing neuroimaging capabilities. The code is available at https://github.com/kgr20/E2fNet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google