Spec2VolCAMU-Net: A Spectrogram-to-Volume Model for EEG-to-fMRI Reconstruction based on Multi-directional Time-Frequency Convolutional Attention Encoder and Vision-Mamba U-Net

要約

高解像度の機能的磁気共鳴イメージング（fMRI）は、人間の脳活動をマッピングするために不可欠です。
しかし、それはコストがかかり、ロジスティック的に挑戦的なままです。
広く利用可能な頭皮脳波（EEG）から同等の量を直接生成できる場合、高度なニューロイメージングは​​非常にアクセスしやすくなります。
既存のEEGからFMRIの発電機は、クロスチャネル時間周波数のキューをキャプチャできない単純なCNNに依存しています。
Spec2volcamu-netを提案します。これは、多方向の時間周波数畳み込み注意エンコーダーを介してこれらの問題に立ち向かう軽量のスペクトログラムから容積の発電機であり、自己立文を備えた一時的、スペクトル、および関節の畳み込みを積み重ね、ビジョンマンバU-NETデコーダーが直線的な状態を有効な長距離の空間モデルを遮断します。
ハイブリッドSSI-MSE損失を備えたトレーニングエンドツーエンドであるSpec2volcamu-netは、3つのパブリックベンチマークで最先端の忠実度を達成し、Noddiで0.693、Oddballで0.725、CN-EPFLで0.725のSSIMを記録し、14.5％、14.9％、14.9％の改善を表しています。
さらに、競争力のあるPSNRスコアを達成し、特に以前の最高のPSNRよりも4.6％改善されたCN-EPFLデータセットで優れているため、再構築品質のバランスが良いです。
提案されたモデルは軽量で効率的であり、臨床および研究環境でのリアルタイムアプリケーションに適しています。
このコードは、https：//github.com/hdy6438/spec2volcamu-netで入手できます。

要約(オリジナル)

High-resolution functional magnetic resonance imaging (fMRI) is essential for mapping human brain activity; however, it remains costly and logistically challenging. If comparable volumes could be generated directly from widely available scalp electroencephalography (EEG), advanced neuroimaging would become significantly more accessible. Existing EEG-to-fMRI generators rely on plain CNNs that fail to capture cross-channel time-frequency cues or on heavy transformer/GAN decoders that strain memory and stability. We propose Spec2VolCAMU-Net, a lightweight spectrogram-to-volume generator that confronts these issues via a Multi-directional Time-Frequency Convolutional Attention Encoder, stacking temporal, spectral and joint convolutions with self-attention, and a Vision-Mamba U-Net decoder whose linear-time state-space blocks enable efficient long-range spatial modelling. Trained end-to-end with a hybrid SSI-MSE loss, Spec2VolCAMU-Net achieves state-of-the-art fidelity on three public benchmarks, recording SSIMs of 0.693 on NODDI, 0.725 on Oddball and 0.788 on CN-EPFL, representing improvements of 14.5%, 14.9%, and 16.9% respectively over previous best SSIM scores. Furthermore, it achieves competitive PSNR scores, particularly excelling on the CN-EPFL dataset with a 4.6% improvement over the previous best PSNR, thus striking a better balance in reconstruction quality. The proposed model is lightweight and efficient, making it suitable for real-time applications in clinical and research settings. The code is available at https://github.com/hdy6438/Spec2VolCAMU-Net.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google