4D Multimodal Co-attention Fusion Network with Latent Contrastive Alignment for Alzheimer’s Diagnosis

要約

マルチモーダルニューロイメージングは​​、人間の脳組織と疾患関連のダイナミクスの両方に対する補完的な構造的および機能的洞察を提供します。
最近の研究では、行動認知スコアと表形式データバイオマーカーを使用したニューロイメージングデータ（例：SMRI、fMRI）の相乗的統合を通じて、アルツハイマー病（AD）の診断感度の強化が示されています。
ただし、モダリティ全体の固有の不均一性（たとえば、4D時空間的ダイナミクス対3D解剖学的SMRI構造）は、識別的特徴融合の重要な課題を提示します。
このギャップを埋めるために、M2Mアリネット：SMRIとfMRIを使用した早期のAD診断のための潜在的なアライメントを備えた幾何学的に認識されたマルチモーダル共競合ネットワークを提案します。
私たちのアプローチの中心にあるのは、幾何学加重されたパッチ対応を介して表象的な矛盾を定量化および削減するマルチパッチからマルチ – マルチ – パッチ（M2M）の対照的な損失関数であり、1対1の制約なしにSMRI構造基板を脳領域全体でfMRI成分を明示的に整列させます。
さらに、フュージョンパターンを自律的に発見するために、潜在的なQueryの共役モジュールを提案し、機能の冗長性を最小限に抑えながらモダリティの優先順位付けバイアスを回避します。
私たちは、私たちの方法の有効性を確認し、ADバイオマーカーとしてのfMRIとSMRIの対応を強調するために広範な実験を実施します。

要約(オリジナル)

Multimodal neuroimaging provides complementary structural and functional insights into both human brain organization and disease-related dynamics. Recent studies demonstrate enhanced diagnostic sensitivity for Alzheimer’s disease (AD) through synergistic integration of neuroimaging data (e.g., sMRI, fMRI) with behavioral cognitive scores tabular data biomarkers. However, the intrinsic heterogeneity across modalities (e.g., 4D spatiotemporal fMRI dynamics vs. 3D anatomical sMRI structure) presents critical challenges for discriminative feature fusion. To bridge this gap, we propose M2M-AlignNet: a geometry-aware multimodal co-attention network with latent alignment for early AD diagnosis using sMRI and fMRI. At the core of our approach is a multi-patch-to-multi-patch (M2M) contrastive loss function that quantifies and reduces representational discrepancies via geometry-weighted patch correspondence, explicitly aligning fMRI components across brain regions with their sMRI structural substrates without one-to-one constraints. Additionally, we propose a latent-as-query co-attention module to autonomously discover fusion patterns, circumventing modality prioritization biases while minimizing feature redundancy. We conduct extensive experiments to confirm the effectiveness of our method and highlight the correspondance between fMRI and sMRI as AD biomarkers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google