TriFormer: A Multi-modal Transformer Framework For Mild Cognitive Impairment Conversion Prediction

要約

軽度認知障害 (MCI) からアルツハイマー病 (AD) への転換を予測することは、AD の進行を予防または遅らせるための早期治療にとって重要です。
安定した MCI またはプログレッシブ MCI への MCI 変換を正確に予測するために、マルチモデル データを組み込むための 3 つの特殊なトランスフォーマーを備えた新しいトランスフォーマー ベースのフレームワークである Triformer を提案します。
Triformer は、I) 医療スキャンからマルチビュー画像の特徴を抽出する画像トランスフォーマー、II) マルチモーダル臨床データを埋め込んで関連付けるための臨床トランスフォーマー、III) 出力の融合に基づいて正確な予測を生成するモダリティ融合トランスフォーマーを使用します。
画像と臨床トランスフォーマーから。
Triformer は、アルツハイマー病ニューロイメージング イニシアチブ (ANDI)1 および ADNI2 データセットで評価されており、以前の最先端のシングルおよびマルチモーダル手法を上回ります。

要約(オリジナル)

The prediction of mild cognitive impairment (MCI) conversion to Alzheimer’s disease (AD) is important for early treatment to prevent or slow the progression of AD. To accurately predict the MCI conversion to stable MCI or progressive MCI, we propose Triformer, a novel transformer-based framework with three specialized transformers to incorporate multi-model data. Triformer uses I) an image transformer to extract multi-view image features from medical scans, II) a clinical transformer to embed and correlate multi-modal clinical data, and III) a modality fusion transformer that produces an accurate prediction based on fusing the outputs from the image and clinical transformers. Triformer is evaluated on the Alzheimer’s Disease Neuroimaging Initiative (ANDI)1 and ADNI2 datasets and outperforms previous state-of-the-art single and multi-modal methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google