Multimodal Deep Learning for Stroke Prediction and Detection using Retinal Imaging and Clinical Data

要約

脳卒中は公衆衛生上の大きな問題であり、世界中で数百万人が罹患している。ディープラーニングは最近、脳卒中の診断とリスク予測の強化に有望であることが示された。しかし、既存の方法は、コンピュータ断層撮影のような高価な医療用画像診断に依存している。最近の研究では、網膜と脳の間で臨床経路が共有されているため、網膜イメージングが脳血管の健康評価に費用対効果の高い代替手段を提供できる可能性が示唆されている。そこで本研究では、網膜画像と臨床データを活用した脳卒中検出とリスク予測への影響を探る。我々は、光干渉断層計（OCT）と赤外反射網膜スキャンを、人口統計、バイタルサイン、診断コードなどの臨床データと組み合わせて処理するマルチモーダル深層ニューラルネットワークを提案する。我々は、37$ kスキャンからなる実世界のデータセットを用いて、自己教師あり学習フレームワークを用いてモデルを事前訓練し、その後、より少ないラベル付きサブセットを用いてモデルを微調整し、評価した。我々の経験的知見は、急性脳卒中に関連する網膜の永続的な影響を検出し、特定の時間軸における将来のリスクを予測する上で、考慮したモダリティの予測能力を立証する。実験結果は、ユニモーダル画像のみのベースラインと比較して$5$%のAUROC改善を達成し、既存の最先端基礎モデルと比較して$8$%の改善を達成することにより、我々の提案するフレームワークの有効性を実証する。結論として、本研究は、高リスク患者の同定と長期的転帰の改善における網膜画像の可能性を強調する。

要約(オリジナル)

Stroke is a major public health problem, affecting millions worldwide. Deep learning has recently demonstrated promise for enhancing the diagnosis and risk prediction of stroke. However, existing methods rely on costly medical imaging modalities, such as computed tomography. Recent studies suggest that retinal imaging could offer a cost-effective alternative for cerebrovascular health assessment due to the shared clinical pathways between the retina and the brain. Hence, this study explores the impact of leveraging retinal images and clinical data for stroke detection and risk prediction. We propose a multimodal deep neural network that processes Optical Coherence Tomography (OCT) and infrared reflectance retinal scans, combined with clinical data, such as demographics, vital signs, and diagnosis codes. We pretrained our model using a self-supervised learning framework using a real-world dataset consisting of $37$ k scans, and then fine-tuned and evaluated the model using a smaller labeled subset. Our empirical findings establish the predictive ability of the considered modalities in detecting lasting effects in the retina associated with acute stroke and forecasting future risk within a specific time horizon. The experimental results demonstrate the effectiveness of our proposed framework by achieving $5$\% AUROC improvement as compared to the unimodal image-only baseline, and $8$\% improvement compared to an existing state-of-the-art foundation model. In conclusion, our study highlights the potential of retinal imaging in identifying high-risk patients and improving long-term outcomes.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL