Alzheimer’s Disease Prediction via Brain Structural-Functional Deep Fusing Network

要約

脳の構造と機能の画像を融合することにより、アルツハイマー病 (AD) の悪化を分析できる大きな可能性が示されました。
しかし、マルチモーダルな神経画像からの相関情報と相補情報を効果的に融合することは大きな課題です。
この論文では、機能的磁気共鳴イメージング (fMRI) と拡散テンソル イメージング (DTI) に含まれる機能情報と構造情報を効果的に融合するために、クロスモーダル トランスフォーマー敵対的生成ネットワーク (CT-GAN) と呼ばれる新しいモデルを提案します。
CT-GAN はトポロジー特徴を学習し、効率的なエンドツーエンドの方法でマルチモーダル イメージング データからマルチモーダル接続を生成できます。
さらに、スワッピング バイ アテンション メカニズムは、共通の特徴を徐々に調整し、モダリティ間の補完的な特徴を効果的に強化するように設計されています。
生成された接続特徴を分析することにより、提案されたモデルは AD 関連の脳接続を特定できます。
公開されている ADNI データセットの評価では、提案された CT-GAN が予測性能を劇的に向上させ、AD 関連の脳領域を効果的に検出できることが示されています。
提案されたモデルは、AD 関連の異常な神経回路を検出するための新しい洞察も提供します。

要約(オリジナル)

Fusing structural-functional images of the brain has shown great potential to analyze the deterioration of Alzheimer’s disease (AD). However, it is a big challenge to effectively fuse the correlated and complementary information from multimodal neuroimages. In this paper, a novel model termed cross-modal transformer generative adversarial network (CT-GAN) is proposed to effectively fuse the functional and structural information contained in functional magnetic resonance imaging (fMRI) and diffusion tensor imaging (DTI). The CT-GAN can learn topological features and generate multimodal connectivity from multimodal imaging data in an efficient end-to-end manner. Moreover, the swapping bi-attention mechanism is designed to gradually align common features and effectively enhance the complementary features between modalities. By analyzing the generated connectivity features, the proposed model can identify AD-related brain connections. Evaluations on the public ADNI dataset show that the proposed CT-GAN can dramatically improve prediction performance and detect AD-related brain regions effectively. The proposed model also provides new insights for detecting AD-related abnormal neural circuits.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google