Multimodal Contrastive Learning and Tabular Attention for Automated Alzheimer’s Disease Prediction

要約

MRI スキャンや PET などの神経画像診断に加えて、アルツハイマー病 (AD) データセットには、AD バイオマーカーや臨床評価などの貴重な表形式のデータが含まれています。
既存のコンピュータ ビジョンのアプローチは、この追加情報を活用するのに苦労しています。
これらのニーズに対処するために、画像データと表形式データのマルチモーダル対比学習のための一般化可能なフレームワーク、表内の顕著な特徴を増幅してランク付けするための新しい表形式注意モジュール、およびこれらの技術のアルツハイマー病予測への応用を提案します。
実験的な評価では、ADNI データベースの 882 枚以上の MR 画像スライスからアルツハイマー病 (AD) を検出することで、当社のフレームワークの強度を実証しています。
私たちは、表形式データの高い解釈可能性と新しい表形式の注意アプローチを利用し、表の各行の注意スコアの帰属を通じて、最も支配的な特徴に注目してランク付けします。
結果は、このモデルが 83.8% 以上の精度を実現できることを示しており、これは以前の最先端技術に比べてほぼ 10% 向上しています。

要約(オリジナル)

Alongside neuroimaging such as MRI scans and PET, Alzheimer’s disease (AD) datasets contain valuable tabular data including AD biomarkers and clinical assessments. Existing computer vision approaches struggle to utilize this additional information. To address these needs, we propose a generalizable framework for multimodal contrastive learning of image data and tabular data, a novel tabular attention module for amplifying and ranking salient features in tables, and the application of these techniques onto Alzheimer’s disease prediction. Experimental evaulations demonstrate the strength of our framework by detecting Alzheimer’s disease (AD) from over 882 MR image slices from the ADNI database. We take advantage of the high interpretability of tabular data and our novel tabular attention approach and through attribution of the attention scores for each row of the table, we note and rank the most predominant features. Results show that the model is capable of an accuracy of over 83.8%, almost a 10% increase from previous state of the art.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google