Hierarchical Spatio-Temporal State-Space Modeling for fMRI Analysis

要約

深層学習の構造化状態空間モデル、特に Mamba アーキテクチャの最近の進歩により、線形の複雑さを維持しながらパフォーマンスが大幅に向上することが実証されました。
この研究では、機能的時空間マンバ (FST-Mamba) を紹介します。これは、機能的磁気共鳴画像法 (fMRI) を使用して神経学的バイオマーカーを発見するために設計された Mamba ベースのモデルです。
私たちは、fMRI から導出された動的機能ネットワーク接続 (dFNC) に焦点を当て、Mamba ベースのエンコーダーを使用して空間情報と時間情報を個別に処理する階層型時空間 Mamba ベースのネットワークを提案します。
FNC マトリックスのトポロジー的一意性を利用して、脳ネットワーク内の個々のコンポーネント間の接続を集約するコンポーネントごとの可変スケール集約 (CVA) メカニズムを導入し、モデルがコンポーネント間情報とネットワーク間の情報の両方をキャプチャできるようにします。
FNC データをより適切に処理するために、コンポーネント固有の新しいスキャン順序を開発しました。
さらに、FNC 行列の対称性を考慮しながら、各機能接続の相対位置をエンコードする対称回転位置エンコーディング (SymRope) を提案します。
実験結果は、さまざまな脳ベースの分類および回帰タスクにおいて、提案された FST-Mamba モデルの大幅な改善を示しています。
私たちの研究は、脳発見における無注意シーケンスモデリングの大きな可能性を明らかにしています。

要約(オリジナル)

Recent advances in deep learning structured state space models, especially the Mamba architecture, have demonstrated remarkable performance improvements while maintaining linear complexity. In this study, we introduce functional spatiotemporal Mamba (FST-Mamba), a Mamba-based model designed for discovering neurological biomarkers using functional magnetic resonance imaging (fMRI). We focus on dynamic functional network connectivity (dFNC) derived from fMRI and propose a hierarchical spatiotemporal Mamba-based network that processes spatial and temporal information separately using Mamba-based encoders. Leveraging the topological uniqueness of the FNC matrix, we introduce a component-wise varied-scale aggregation (CVA) mechanism to aggregate connectivity across individual components within brain networks, enabling the model to capture both inter-component and inter-network information. To better handle the FNC data, we develop a new component-specific scanning order. Additionally, we propose symmetric rotary position encoding (SymRope) to encode the relative positions of each functional connection while considering the symmetric nature of the FNC matrix. Experimental results demonstrate significant improvements in the proposed FST-Mamba model on various brain-based classification and regression tasks. Our work reveals the substantial potential of attention-free sequence modeling in brain discovery.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google