MM-GTUNets: Unified Multi-Modal Graph Deep Learning for Brain Disorders Prediction

要約

グラフ ディープ ラーニング (GDL) は、画像データと非画像データの両方を統合することにより、集団ベースの脳障害 (BD) を予測する際に優れたパフォーマンスを実証しました。
ただし、GDL ベースの手法の有効性は、マルチモーダル人口グラフのモデリングの品質に大きく依存し、グラフのスケールが増加するにつれて低下する傾向があります。
さらに、これらの方法では、多くの場合、画像データと非画像データの間の相互作用がグラフ内のノードエッジの相互作用に制限され、複雑なモード間の相関関係が見落とされ、次善の結果が得られます。
これらの課題を克服するために、大規模な脳障害予測のために設計されたエンドツーエンドのグラフ変換ベースのマルチモーダル グラフ深層学習 (MMGDL) フレームワークである MM-GTUNets を提案します。
具体的には、疾患に関連する豊富なマルチモーダル情報を効果的に活用するために、報酬システムを使用して人口グラフを適応的に構築するモダリティ報酬表現学習 (MRRL) を導入します。
さらに、変分オートエンコーダを使用して、画像化特徴と位置合わせされた非画像化特徴の潜在表現を再構築します。
これに基づいて、Graph UNet と Graph Transformer を活用した統合 GTUNet エンコーダと機能融合モジュールを通じて、重要なモダリティ固有およびモダリティ共有の特徴をキャプチャする適応クロスモーダル グラフ学習 (ACMGL) を提案します。
私たちは 2 つの公開マルチモーダル データセット ABIDE と ADHD-200 でこの方法を検証し、BD の診断における優れたパフォーマンスを実証しました。
私たちのコードは https://github.com/NZWANG/MM-GTUNets で入手できます。

要約(オリジナル)

Graph deep learning (GDL) has demonstrated impressive performance in predicting population-based brain disorders (BDs) through the integration of both imaging and non-imaging data. However, the effectiveness of GDL based methods heavily depends on the quality of modeling the multi-modal population graphs and tends to degrade as the graph scale increases. Furthermore, these methods often constrain interactions between imaging and non-imaging data to node-edge interactions within the graph, overlooking complex inter-modal correlations, leading to suboptimal outcomes. To overcome these challenges, we propose MM-GTUNets, an end-to-end graph transformer based multi-modal graph deep learning (MMGDL) framework designed for brain disorders prediction at large scale. Specifically, to effectively leverage rich multi-modal information related to diseases, we introduce Modality Reward Representation Learning (MRRL) which adaptively constructs population graphs using a reward system. Additionally, we employ variational autoencoder to reconstruct latent representations of non-imaging features aligned with imaging features. Based on this, we propose Adaptive Cross-Modal Graph Learning (ACMGL), which captures critical modality-specific and modality-shared features through a unified GTUNet encoder taking advantages of Graph UNet and Graph Transformer, and feature fusion module. We validated our method on two public multi-modal datasets ABIDE and ADHD-200, demonstrating its superior performance in diagnosing BDs. Our code is available at https://github.com/NZWANG/MM-GTUNets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google