Incomplete Multimodal Learning for Complex Brain Disorders Prediction

要約

さまざまな脳データ ソースの取得における最近の進歩により、複雑な脳疾患の早期発見を支援するために、マルチモーダルな脳データを統合する新たな機会が生まれました。
ただし、現在のデータ統合アプローチでは通常、生物医学データ モダリティの完全なセットが必要ですが、一部のモダリティは大規模な研究コホートでのみ利用可能であり、日常的な臨床診療で収集するのが法外であるため、必ずしも実現可能であるとは限りません。
特に脳疾患の研究では、研究コホートに神経画像データと遺伝データの両方が含まれる場合がありますが、実際の臨床診断では、神経画像のみに基づいて疾患を予測する必要があることがよくあります。
その結果、トレーニング中に利用可能なすべてのデータ (異なるデータが補完的な情報を提供する可能性がある) を使用でき、最も一般的なデータ モダリティのみを使用して推論を実行できる機械学習モデルを設計することが望まれます。
私たちは、トランスフォーマーと敵対的生成ネットワークを使用して、トレーニング中に利用可能な補助モダリティを効果的に活用して、推論時の単峰性モデルのパフォーマンスを向上させる、新しい不完全なマルチモーダル データ統合アプローチを提案します。
私たちは、アルツハイマー病ニューロイメージングイニシアチブ (ADNI) コホートからのマルチモーダルイメージング遺伝子データを使用して、新しい方法を適用して認知変性と疾患の転帰を予測します。
実験結果は、私たちのアプローチが関連する機械学習および深層学習手法よりも大幅に優れていることを示しています。

要約(オリジナル)

Recent advancements in the acquisition of various brain data sources have created new opportunities for integrating multimodal brain data to assist in early detection of complex brain disorders. However, current data integration approaches typically need a complete set of biomedical data modalities, which may not always be feasible, as some modalities are only available in large-scale research cohorts and are prohibitive to collect in routine clinical practice. Especially in studies of brain diseases, research cohorts may include both neuroimaging data and genetic data, but for practical clinical diagnosis, we often need to make disease predictions only based on neuroimages. As a result, it is desired to design machine learning models which can use all available data (different data could provide complementary information) during training but conduct inference using only the most common data modality. We propose a new incomplete multimodal data integration approach that employs transformers and generative adversarial networks to effectively exploit auxiliary modalities available during training in order to improve the performance of a unimodal model at inference. We apply our new method to predict cognitive degeneration and disease outcomes using the multimodal imaging genetic data from Alzheimer’s Disease Neuroimaging Initiative (ADNI) cohort. Experimental results demonstrate that our approach outperforms the related machine learning and deep learning methods by a significant margin.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google