Lite-Mind: Towards Efficient and Robust Brain Representation Network

要約

fMRI 信号の利用可能なデータが限られており、信号対雑音比が低いため、fMRI から画像を取得するという困難な作業が発生します。
最先端の MindEye は、大規模なモデル、つまり被験者あたり 996M MLP バックボーンを活用して、fMRI 埋め込みを CLIP のビジョン トランスフォーマー (ViT) の最終隠れ層に位置合わせすることで、fMRI から画像への検索パフォーマンスを大幅に向上させます。
ただし、同一の実験設定下であっても被験者間には大きな個人差が存在するため、被験者固有の大規模なモデルのトレーニングが必要になります。
fMRI デコーディングを実際のデバイスに導入する場合、パラメータが大きいため、大きな課題が生じます。
この目的を達成するために、我々は、fMRI ボクセルを CLIP のきめ細かい情報に効率的に位置合わせする、離散フーリエ変換 (DFT) に基づく軽量で効率的かつ堅牢な脳表現学習パラダイムである Lite-Mind を提案します。
有益で堅牢なボクセル埋め込みを学習するために、スペクトル圧縮モジュールと周波数プロジェクター モジュールを備えた DFT バックボーンを入念に設計しています。
私たちの実験では、Lite-Mind が、MindEye よりも 98.7% 少ないパラメータで、被験者 1 の NSD データセットに対して fMRI から画像への取得精度 94.6% という驚異的な精度を達成していることが実証されました。
Lite-Mind は、より小さな fMRI データセットに移行できることも証明されており、GOD データセット上でゼロショット分類のための新しい最先端技術を確立します。

要約(オリジナル)

The limited data availability and the low signal-to-noise ratio of fMRI signals lead to the challenging task of fMRI-to-image retrieval. State-of-the-art MindEye remarkably improves fMRI-to-image retrieval performance by leveraging a large model, i.e., a 996M MLP Backbone per subject, to align fMRI embeddings to the final hidden layer of CLIP’s Vision Transformer (ViT). However, significant individual variations exist among subjects, even under identical experimental setups, mandating the training of large subject-specific models. The substantial parameters pose significant challenges in deploying fMRI decoding on practical devices. To this end, we propose Lite-Mind, a lightweight, efficient, and robust brain representation learning paradigm based on Discrete Fourier Transform (DFT), which efficiently aligns fMRI voxels to fine-grained information of CLIP. We elaborately design a DFT backbone with Spectrum Compression and Frequency Projector modules to learn informative and robust voxel embeddings. Our experiments demonstrate that Lite-Mind achieves an impressive 94.6% fMRI-to-image retrieval accuracy on the NSD dataset for Subject 1, with 98.7% fewer parameters than MindEye. Lite-Mind is also proven to be able to be migrated to smaller fMRI datasets and establishes a new state-of-the-art for zero-shot classification on the GOD dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google