Cross-Modal Transformer GAN: A Brain Structure-Function Deep Fusing Framework for Alzheimer’s Disease

要約

さまざまなタイプのニューロイメージングデータのクロスモーダル融合は、アルツハイマー病（AD）の進行を予測するための大きな期待を示しています。
ただし、ニューロイメージングに適用されるほとんどの既存の方法は、マルチモーダルニューロイメージからの機能的および構造的情報を効率的に融合することはできません。
この作業では、安静時機能的磁気共鳴画像法（rs-fMRI）に含まれる機能情報と拡散テンソル画像（DTI）に含まれる構造情報を融合するために、新しいクロスモーダル変圧器生成敵対的ネットワーク（CT-GAN）を提案します。
開発されたバイアテンションメカニズムは、機能情報を構造情報に効率的に一致させ、rs-fMRIおよびDTIから補完的な情報を抽出する機能を最大化することができます。
構造的特徴と機能的特徴の間の深い補完的な情報をキャプチャすることにより、提案されたCT-GANは、ADのバイオマーカーとして使用できるAD関連の脳の接続性を検出できます。
実験結果は、提案されたモデルが分類性能を改善するだけでなく、AD関連の脳の接続性を効果的に検出できることを示しています。

要約(オリジナル)

Cross-modal fusion of different types of neuroimaging data has shown great promise for predicting the progression of Alzheimer’s Disease(AD). However, most existing methods applied in neuroimaging can not efficiently fuse the functional and structural information from multi-modal neuroimages. In this work, a novel cross-modal transformer generative adversarial network(CT-GAN) is proposed to fuse functional information contained in resting-state functional magnetic resonance imaging (rs-fMRI) and structural information contained in Diffusion Tensor Imaging (DTI). The developed bi-attention mechanism can match functional information to structural information efficiently and maximize the capability of extracting complementary information from rs-fMRI and DTI. By capturing the deep complementary information between structural features and functional features, the proposed CT-GAN can detect the AD-related brain connectivity, which could be used as a bio-marker of AD. Experimental results show that the proposed model can not only improve classification performance but also detect the AD-related brain connectivity effectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google